创建Kafka转发插件

应用场景

API网关(API Gateway)的Kafka转发插件是一种用于将HTTP API请求异步转发到Kafka主题的插件,可以实现API请求的异步处理和消息队列集成。Kafka转发插件支持配置Kafka连接信息、主题、消息键、重试策略等参数,帮助您实现灵活的API请求转发管理。通过配置Kafka转发插件,可以将API请求转换为Kafka消息,实现请求的异步处理和后续处理流程的解耦,提高系统的可扩展性和可靠性。本最佳实践将介绍如何使用Terraform自动化创建API网关的Kafka转发插件。

相关资源/数据源

本最佳实践涉及以下主要资源和数据源:

数据源

资源

资源/数据源依赖关系

操作步骤

1. 脚本准备

在指定工作空间中准备好用于编写当前最佳实践脚本的TF文件(如main.tf),确保其中(也可以是其他同级目录下的TF文件)包含部署资源所需的provider版本声明和华为云鉴权信息。 配置介绍参考部署华为云资源前的准备工作一文中的介绍。

2. 通过数据源查询可用区信息

在TF文件(如main.tf)中添加以下脚本以告知Terraform进行一次数据源查询,其查询结果用于创建API网关实例和DMS Kafka实例:

参数说明

  • count:数据源的创建数,用于控制是否执行可用区列表查询数据源,仅当 var.availability_zones 为空时创建数据源(即执行可用区列表查询)

3. 创建VPC资源

在TF文件(如main.tf)中添加以下脚本以告知Terraform创建VPC资源:

参数说明

  • name:VPC名称,通过引用输入变量vpc_name进行赋值

  • cidr:VPC的CIDR网段,通过引用输入变量vpc_cidr进行赋值,默认值为"192.168.0.0/16"

4. 创建VPC子网资源

在TF文件(如main.tf)中添加以下脚本以告知Terraform创建VPC子网资源:

参数说明

  • vpc_id:子网所属的VPC的ID,引用前面创建的VPC资源(huaweicloud_vpc.test)的ID

  • name:子网名称,通过引用输入变量subnet_name进行赋值

  • cidr:子网的CIDR网段,通过引用输入变量subnet_cidr进行赋值,当值为空字符串时自动计算

  • gateway_ip:子网的网关IP,通过引用输入变量subnet_gateway_ip进行赋值,当值为空字符串时自动计算

5. 创建安全组资源

在TF文件(如main.tf)中添加以下脚本以告知Terraform创建安全组资源:

参数说明

  • name:安全组名称,通过引用输入变量security_group_name进行赋值

  • delete_default_rules:是否删除默认规则,设置为true

6. 创建API网关实例资源

在TF文件(如main.tf)中添加以下脚本以告知Terraform创建API网关实例资源:

参数说明

  • name:API网关实例名称,通过引用输入变量instance_name进行赋值

  • edition:API网关实例版本,通过引用输入变量instance_edition进行赋值,默认值为"BASIC"

  • vpc_id:VPC ID,引用前面创建的VPC资源(huaweicloud_vpc.test)的ID

  • subnet_id:子网ID,引用前面创建的VPC子网资源(huaweicloud_vpc_subnet.test)的ID

  • security_group_id:安全组ID,引用前面创建的安全组资源(huaweicloud_networking_secgroup.test)的ID

  • enterprise_project_id:企业项目ID,通过引用输入变量enterprise_project_id进行赋值,默认值为null

  • availability_zones:可用区列表,当输入变量availability_zones不为空时使用该值,否则根据可用区列表查询数据源(data.huaweicloud_availability_zones)的返回结果进行赋值

7. 通过数据源查询DMS Kafka规格信息

在TF文件(如main.tf)中添加以下脚本以告知Terraform进行一次数据源查询,其查询结果用于创建DMS Kafka实例:

参数说明

  • count:数据源的创建数,用于控制是否执行DMS Kafka规格查询数据源,仅当 var.kafka_instance_flavor_id 为空时创建数据源(即执行规格查询)

  • type:规格类型,通过引用输入变量kafka_instance_flavor_type进行赋值,默认值为"cluster"

  • storage_spec_code:存储规格代码,通过引用输入变量kafka_instance_storage_spec_code进行赋值

  • availability_zones:可用区列表,当输入变量availability_zones不为空时使用该值,否则根据可用区列表查询数据源(data.huaweicloud_availability_zones)的返回结果进行赋值

8. 创建DMS Kafka实例资源

在TF文件(如main.tf)中添加以下脚本以告知Terraform创建DMS Kafka实例资源:

参数说明

  • name:DMS Kafka实例名称,通过引用输入变量kafka_instance_name进行赋值

  • description:DMS Kafka实例描述,通过引用输入变量kafka_instance_description进行赋值,默认值为空字符串

  • availability_zones:可用区列表,当输入变量availability_zones不为空时使用该值,否则根据可用区列表查询数据源(data.huaweicloud_availability_zones)的返回结果进行赋值

  • vpc_id:VPC ID,引用前面创建的VPC资源(huaweicloud_vpc.test)的ID

  • network_id:网络ID,引用前面创建的VPC子网资源(huaweicloud_vpc_subnet.test)的ID

  • security_group_id:安全组ID,引用前面创建的安全组资源(huaweicloud_networking_secgroup.test)的ID

  • ssl_enable:是否启用SSL,通过引用输入变量kafka_instance_ssl_enable进行赋值,默认值为false

  • flavor_id:规格ID,当输入变量kafka_instance_flavor_id不为空时使用该值,否则根据DMS Kafka规格查询数据源(data.huaweicloud_dms_kafka_flavors)的返回结果进行赋值

  • engine_version:引擎版本,通过引用输入变量kafka_instance_engine_version进行赋值

  • storage_spec_code:存储规格代码,通过引用输入变量kafka_instance_storage_spec_code进行赋值

  • storage_space:存储空间(单位:GB),通过引用输入变量kafka_instance_storage_space进行赋值

  • broker_num:Broker数量,通过引用输入变量kafka_instance_broker_num进行赋值

  • charging_mode:计费模式,通过引用输入变量kafka_charging_mode进行赋值,默认值为"prePaid"

  • period_unit:计费周期单位,通过引用输入变量kafka_period_unit进行赋值,默认值为"month"

  • period:计费周期,通过引用输入变量kafka_period进行赋值,默认值为1

  • auto_renew:是否自动续费,通过引用输入变量kafka_auto_new进行赋值,默认值为"false"

  • access_user:访问用户名,通过引用输入变量kafka_instance_user_name进行赋值

  • password:访问密码,通过引用输入变量kafka_instance_user_password进行赋值

9. 创建DMS Kafka主题资源

在TF文件(如main.tf)中添加以下脚本以告知Terraform创建DMS Kafka主题资源:

参数说明

  • instance_id:Kafka实例ID,引用前面创建的DMS Kafka实例资源(huaweicloud_dms_kafka_instance.test)的ID

  • name:主题名称,通过引用输入变量kafka_topic_name进行赋值

  • partitions:分区数量,通过引用输入变量kafka_topic_partitions进行赋值,默认值为1

10. 创建API网关Kafka转发插件资源

在TF文件(如main.tf)中添加以下脚本以告知Terraform创建API网关Kafka转发插件资源:

参数说明

  • instance_id:API网关实例ID,引用前面创建的API网关实例资源(huaweicloud_apig_instance.test)的ID

  • name:插件名称,通过引用输入变量plugin_name进行赋值

  • description:插件描述,通过引用输入变量plugin_description进行赋值,默认值为null

  • type:插件类型,设置为"kafka_log"(表示Kafka日志转发插件)

  • content:插件配置内容,通过jsonencode函数将配置对象编码为JSON字符串,其中:

    • broker_list:Kafka Broker列表,根据安全协议类型从DMS Kafka实例的port_protocol属性中获取对应的地址列表

    • topic:Kafka主题名称,通过引用输入变量kafka_topic_name进行赋值

    • key:消息键提取策略,通过引用输入变量kafka_message_key进行赋值,可以是静态值或变量表达式(如$context.requestId)

    • max_retry_count:最大重试次数,通过引用输入变量kafka_max_retry_count进行赋值,默认值为3

    • retry_backoff:重试退避时间(单位:秒),通过引用输入变量kafka_retry_backoff进行赋值,默认值为10

    • sasl_config.security_protocol:安全协议,通过引用输入变量kafka_security_protocol进行赋值

    • sasl_config.sasl_mechanisms:SASL机制,通过引用输入变量kafka_sasl_mechanisms进行赋值

    • sasl_config.sasl_username:SASL用户名,当kafka_sasl_username不为空时使用该值,否则当安全协议不为PLAINTEXT时使用kafka_access_user

    • sasl_config.sasl_password:SASL密码,当kafka_sasl_password不为空时使用该值,否则当安全协议不为PLAINTEXT时使用kafka_password

    • sasl_config.ssl_ca_content:SSL CA证书内容,通过引用输入变量kafka_ssl_ca_content进行赋值

11. 预设资源部署所需的入参(可选)

本实践中,部分资源、数据源使用了输入变量对配置内容进行赋值,这些输入参数在后续部署时需要手工输入。 同时,Terraform提供了通过tfvars文件预设这些配置的方法,可以避免每次执行时重复输入。

在工作目录下创建terraform.tfvars文件,示例内容如下:

使用方法

  1. 将上述内容保存为工作目录下的terraform.tfvars文件(该文件名可使用户在执行terraform命令时自动导入该tfvars文件中的内容,其他命名则需要在tfvars前补充.auto定义,如variables.auto.tfvars

  2. 根据实际需要修改参数值

  3. 执行terraform planterraform apply时,Terraform会自动读取该文件中的变量值

除了使用terraform.tfvars文件外,还可以通过以下方式设置变量值:

  1. 命令行参数:terraform apply -var="vpc_name=test-vpc" -var="instance_name=test-instance"

  2. 环境变量:export TF_VAR_vpc_name=test-vpc

  3. 自定义命名的变量文件:terraform apply -var-file="custom.tfvars"

注意:如果同一个变量通过多种方式进行设置,Terraform会按照以下优先级使用变量值:命令行参数 > 变量文件 > 环境变量 > 默认值。

12. 初始化并应用Terraform配置

完成以上脚本配置后,执行以下步骤来创建资源:

  1. 运行 terraform init 初始化环境

  2. 运行 terraform plan 查看资源创建计划

  3. 确认资源计划无误后,运行 terraform apply 开始创建API网关Kafka转发插件

  4. 运行 terraform show 查看已创建的API网关Kafka转发插件详情

参考信息

Last updated