Kafka数据压缩如何配置

Kafka数据压缩配置主要涉及Broker、Producer和Consumer端，具体如下：

1. Broker端配置
   编辑server.properties，设置compression.type参数选择压缩算法（支持gzip、snappy、lz4、zstd），例如：

   compression.type=gzip  # 全局默认压缩算法（可被子主题覆盖）
   

   • 可选参数：部分算法支持压缩级别（如compression.gzip.level=9），需根据算法特性配置。

2. Producer端配置
   编辑producer.properties，通过compression.type指定发送消息的压缩算法，例如：

   compression.type=snappy  # 覆盖Broker全局配置，优先使用指定算法
   

3. Consumer端配置
   通常无需额外配置，Consumer会自动解压缩数据。若需验证，可通过kafka-console-consumer工具指定--property print.offsets=true查看消息详情。

4. 验证与调优

   • 使用kafkacat工具查看消息是否压缩：

     kafkacat -b localhost:9092 -t topic_name -C  # -C表示解压缩输出
     

   • 监控压缩比和性能，可通过Kafka JMX指标（如compression-rate）调整算法或级别。

注意：

• 不同算法性能差异显著，gzip压缩比高但速度慢，lz4速度快但压缩比低，zstd可平衡两者。
• 配置修改后需重启Broker生效（动态参数除外）。
• 确保客户端与服务端算法兼容。