Kafka日志清理可通过配置参数实现，需根据业务场景选择策略并合理设置参数，以下是具体方法及要点：

一、选择清理策略

• 删除策略（delete）：按时间或大小删除旧日志，适用于大多数场景，保留历史数据但控制磁盘占用。
• 压缩策略（compact）：仅保留每个key的最新值，节省空间且保留最新状态，适合数据频繁更新的场景（如数据库变更日志）。
• 组合策略：同时使用删除和压缩（log.cleanup.policy=delete,compact），灵活控制保留规则。

二、核心参数配置

三、配置示例

1. 7天保留+1GB分区大小（删除策略）

   log.cleanup.policy=delete
   log.retention.ms=604800000  # 7天
   log.retention.bytes=1073741824  # 1GB
   log.segment.bytes=536870912  # 500MB
   

2. 保留最新值+500MB分区（压缩策略）

   log.cleanup.policy=compact
   log.retention.bytes=536870912  # 500MB
   log.cleaner.min.cleanable.ratio=0.7
   

四、注意事项

• 数据安全：删除策略可能导致数据丢失，生产环境需谨慎设置保留时间。
• 性能影响：频繁清理可能增加磁盘IO负载，建议根据磁盘性能调整log.retention.check.interval.ms。
• 特殊场景：
  • 消费者位移主题（__consumer_offsets）建议使用压缩策略，避免频繁删除。
  • 大数据量场景可增大log.segment.bytes，减少分段数量，提升清理效率。

修改配置后需重启Kafka服务生效，并通过kafka-configs.sh命令验证参数是否正确应用。