创建Kafka转发插件
应用场景
API网关(API Gateway)的Kafka转发插件是一种用于将HTTP API请求异步转发到Kafka主题的插件,可以实现API请求的异步处理和消息队列集成。Kafka转发插件支持配置Kafka连接信息、主题、消息键、重试策略等参数,帮助您实现灵活的API请求转发管理。通过配置Kafka转发插件,可以将API请求转换为Kafka消息,实现请求的异步处理和后续处理流程的解耦,提高系统的可扩展性和可靠性。本最佳实践将介绍如何使用Terraform自动化创建API网关的Kafka转发插件。
相关资源/数据源
本最佳实践涉及以下主要资源和数据源:
数据源
资源
资源/数据源依赖关系
操作步骤
1. 脚本准备
在指定工作空间中准备好用于编写当前最佳实践脚本的TF文件(如main.tf),确保其中(也可以是其他同级目录下的TF文件)包含部署资源所需的provider版本声明和华为云鉴权信息。 配置介绍参考部署华为云资源前的准备工作一文中的介绍。
2. 通过数据源查询可用区信息
在TF文件(如main.tf)中添加以下脚本以告知Terraform进行一次数据源查询,其查询结果用于创建API网关实例和DMS Kafka实例:
参数说明:
count:数据源的创建数,用于控制是否执行可用区列表查询数据源,仅当
var.availability_zones为空时创建数据源(即执行可用区列表查询)
3. 创建VPC资源
在TF文件(如main.tf)中添加以下脚本以告知Terraform创建VPC资源:
参数说明:
name:VPC名称,通过引用输入变量vpc_name进行赋值
cidr:VPC的CIDR网段,通过引用输入变量vpc_cidr进行赋值,默认值为"192.168.0.0/16"
4. 创建VPC子网资源
在TF文件(如main.tf)中添加以下脚本以告知Terraform创建VPC子网资源:
参数说明:
vpc_id:子网所属的VPC的ID,引用前面创建的VPC资源(huaweicloud_vpc.test)的ID
name:子网名称,通过引用输入变量subnet_name进行赋值
cidr:子网的CIDR网段,通过引用输入变量subnet_cidr进行赋值,当值为空字符串时自动计算
gateway_ip:子网的网关IP,通过引用输入变量subnet_gateway_ip进行赋值,当值为空字符串时自动计算
5. 创建安全组资源
在TF文件(如main.tf)中添加以下脚本以告知Terraform创建安全组资源:
参数说明:
name:安全组名称,通过引用输入变量security_group_name进行赋值
delete_default_rules:是否删除默认规则,设置为true
6. 创建API网关实例资源
在TF文件(如main.tf)中添加以下脚本以告知Terraform创建API网关实例资源:
参数说明:
name:API网关实例名称,通过引用输入变量instance_name进行赋值
edition:API网关实例版本,通过引用输入变量instance_edition进行赋值,默认值为"BASIC"
vpc_id:VPC ID,引用前面创建的VPC资源(huaweicloud_vpc.test)的ID
subnet_id:子网ID,引用前面创建的VPC子网资源(huaweicloud_vpc_subnet.test)的ID
security_group_id:安全组ID,引用前面创建的安全组资源(huaweicloud_networking_secgroup.test)的ID
enterprise_project_id:企业项目ID,通过引用输入变量enterprise_project_id进行赋值,默认值为null
availability_zones:可用区列表,当输入变量availability_zones不为空时使用该值,否则根据可用区列表查询数据源(data.huaweicloud_availability_zones)的返回结果进行赋值
7. 通过数据源查询DMS Kafka规格信息
在TF文件(如main.tf)中添加以下脚本以告知Terraform进行一次数据源查询,其查询结果用于创建DMS Kafka实例:
参数说明:
count:数据源的创建数,用于控制是否执行DMS Kafka规格查询数据源,仅当
var.kafka_instance_flavor_id为空时创建数据源(即执行规格查询)type:规格类型,通过引用输入变量kafka_instance_flavor_type进行赋值,默认值为"cluster"
storage_spec_code:存储规格代码,通过引用输入变量kafka_instance_storage_spec_code进行赋值
availability_zones:可用区列表,当输入变量availability_zones不为空时使用该值,否则根据可用区列表查询数据源(data.huaweicloud_availability_zones)的返回结果进行赋值
8. 创建DMS Kafka实例资源
在TF文件(如main.tf)中添加以下脚本以告知Terraform创建DMS Kafka实例资源:
参数说明:
name:DMS Kafka实例名称,通过引用输入变量kafka_instance_name进行赋值
description:DMS Kafka实例描述,通过引用输入变量kafka_instance_description进行赋值,默认值为空字符串
availability_zones:可用区列表,当输入变量availability_zones不为空时使用该值,否则根据可用区列表查询数据源(data.huaweicloud_availability_zones)的返回结果进行赋值
vpc_id:VPC ID,引用前面创建的VPC资源(huaweicloud_vpc.test)的ID
network_id:网络ID,引用前面创建的VPC子网资源(huaweicloud_vpc_subnet.test)的ID
security_group_id:安全组ID,引用前面创建的安全组资源(huaweicloud_networking_secgroup.test)的ID
ssl_enable:是否启用SSL,通过引用输入变量kafka_instance_ssl_enable进行赋值,默认值为false
flavor_id:规格ID,当输入变量kafka_instance_flavor_id不为空时使用该值,否则根据DMS Kafka规格查询数据源(data.huaweicloud_dms_kafka_flavors)的返回结果进行赋值
engine_version:引擎版本,通过引用输入变量kafka_instance_engine_version进行赋值
storage_spec_code:存储规格代码,通过引用输入变量kafka_instance_storage_spec_code进行赋值
storage_space:存储空间(单位:GB),通过引用输入变量kafka_instance_storage_space进行赋值
broker_num:Broker数量,通过引用输入变量kafka_instance_broker_num进行赋值
charging_mode:计费模式,通过引用输入变量kafka_charging_mode进行赋值,默认值为"prePaid"
period_unit:计费周期单位,通过引用输入变量kafka_period_unit进行赋值,默认值为"month"
period:计费周期,通过引用输入变量kafka_period进行赋值,默认值为1
auto_renew:是否自动续费,通过引用输入变量kafka_auto_new进行赋值,默认值为"false"
access_user:访问用户名,通过引用输入变量kafka_instance_user_name进行赋值
password:访问密码,通过引用输入变量kafka_instance_user_password进行赋值
9. 创建DMS Kafka主题资源
在TF文件(如main.tf)中添加以下脚本以告知Terraform创建DMS Kafka主题资源:
参数说明:
instance_id:Kafka实例ID,引用前面创建的DMS Kafka实例资源(huaweicloud_dms_kafka_instance.test)的ID
name:主题名称,通过引用输入变量kafka_topic_name进行赋值
partitions:分区数量,通过引用输入变量kafka_topic_partitions进行赋值,默认值为1
10. 创建API网关Kafka转发插件资源
在TF文件(如main.tf)中添加以下脚本以告知Terraform创建API网关Kafka转发插件资源:
参数说明:
instance_id:API网关实例ID,引用前面创建的API网关实例资源(huaweicloud_apig_instance.test)的ID
name:插件名称,通过引用输入变量plugin_name进行赋值
description:插件描述,通过引用输入变量plugin_description进行赋值,默认值为null
type:插件类型,设置为"kafka_log"(表示Kafka日志转发插件)
content:插件配置内容,通过jsonencode函数将配置对象编码为JSON字符串,其中:
broker_list:Kafka Broker列表,根据安全协议类型从DMS Kafka实例的port_protocol属性中获取对应的地址列表
topic:Kafka主题名称,通过引用输入变量kafka_topic_name进行赋值
key:消息键提取策略,通过引用输入变量kafka_message_key进行赋值,可以是静态值或变量表达式(如$context.requestId)
max_retry_count:最大重试次数,通过引用输入变量kafka_max_retry_count进行赋值,默认值为3
retry_backoff:重试退避时间(单位:秒),通过引用输入变量kafka_retry_backoff进行赋值,默认值为10
sasl_config.security_protocol:安全协议,通过引用输入变量kafka_security_protocol进行赋值
sasl_config.sasl_mechanisms:SASL机制,通过引用输入变量kafka_sasl_mechanisms进行赋值
sasl_config.sasl_username:SASL用户名,当kafka_sasl_username不为空时使用该值,否则当安全协议不为PLAINTEXT时使用kafka_access_user
sasl_config.sasl_password:SASL密码,当kafka_sasl_password不为空时使用该值,否则当安全协议不为PLAINTEXT时使用kafka_password
sasl_config.ssl_ca_content:SSL CA证书内容,通过引用输入变量kafka_ssl_ca_content进行赋值
11. 预设资源部署所需的入参(可选)
本实践中,部分资源、数据源使用了输入变量对配置内容进行赋值,这些输入参数在后续部署时需要手工输入。 同时,Terraform提供了通过tfvars文件预设这些配置的方法,可以避免每次执行时重复输入。
在工作目录下创建terraform.tfvars文件,示例内容如下:
使用方法:
将上述内容保存为工作目录下的
terraform.tfvars文件(该文件名可使用户在执行terraform命令时自动导入该tfvars文件中的内容,其他命名则需要在tfvars前补充.auto定义,如variables.auto.tfvars)根据实际需要修改参数值
执行
terraform plan或terraform apply时,Terraform会自动读取该文件中的变量值
除了使用terraform.tfvars文件外,还可以通过以下方式设置变量值:
命令行参数:
terraform apply -var="vpc_name=test-vpc" -var="instance_name=test-instance"环境变量:
export TF_VAR_vpc_name=test-vpc自定义命名的变量文件:
terraform apply -var-file="custom.tfvars"
注意:如果同一个变量通过多种方式进行设置,Terraform会按照以下优先级使用变量值:命令行参数 > 变量文件 > 环境变量 > 默认值。
12. 初始化并应用Terraform配置
完成以上脚本配置后,执行以下步骤来创建资源:
运行
terraform init初始化环境运行
terraform plan查看资源创建计划确认资源计划无误后,运行
terraform apply开始创建API网关Kafka转发插件运行
terraform show查看已创建的API网关Kafka转发插件详情
参考信息
Last updated