在Ubuntu上配置Kafka日志可按以下步骤操作:
-
配置日志目录
编辑Kafka配置文件/opt/kafka/config/server.properties,设置log.dirs参数指定日志存储路径,如:
log.dirs=/var/log/kafka。 -
设置日志清理策略
- 基于时间/大小的删除策略:
配置log.retention.hours(保留时长,默认168小时)、log.retention.bytes(总大小阈值,默认-1不限制)。 - 压缩策略:
设置log.compression.type为gzip/snappy/lz4等,仅保留键的最新消息值。
- 基于时间/大小的删除策略:
-
使用logrotate管理日志轮转
安装logrotate:sudo apt-get install logrotate,创建配置文件/etc/logrotate.d/kafka,示例内容:/var/log/kafka/*.log { daily rotate 7 compress delaycompress missingok notifempty create 0644 kafka kafka postrotate [ -f /var/run/kafka.pid ] && kill -USR1 $(cat /var/run/kafka.pid) endscript }该配置每日轮转日志,保留7天并压缩。
-
监控与维护
- 通过
df -h定期检查日志目录磁盘空间。 - 使用Kafka Manager(需额外安装)通过Web界面查看日志状态。
- 如需实时分析,可集成ELK Stack或Fluentd等工具。
- 通过
说明:部分步骤需根据Kafka版本调整参数,建议参考官方文档确认细节。