CentOS HDFS日志管理技巧
-
日志文件定位
- NameNode运行日志：
/var/log/Bigdata/hdfs/nn/hadoop--namenode- .log - DataNode运行日志：
/var/log/Bigdata/hdfs/dn/hadoop--datanode- .log - 审计日志：
/var/log/Bigdata/audit/hdfs/
- NameNode运行日志：
-
日志查看工具
- 实时查看：
tail -f <日志路径> - 系统日志工具：
journalctl -u hadoop-namenode - Web界面：HDFS管理页面（如
http://master:50070）查看部分日志
- 实时查看：
-
日志轮转与归档
- 使用
logrotate配置轮转规则（如每天轮转、保留7天、压缩旧日志），配置文件路径：/etc/logrotate.d/hadoop。 - 自动归档：通过设置日志大小阈值（如超过100MB）触发压缩归档，保留最近100个归档文件。
- 使用
-
日志级别调整
- 通过修改
log4j.properties文件（路径：$HADOOP_HOME/etc/hadoop/），调整hadoop.root.logger或组件级日志级别（如org.apache.hadoop.hdfs=DEBUG），修改后需重启HDFS服务。 - 临时调整：
hadoop dfsadmin -setLogLevel <级别>（仅适用于测试环境）。
- 通过修改
-
日志分析与安全
- 大规模分析：使用ELK Stack（Elasticsearch+Logstash+Kibana）进行日志可视化。
- 权限控制：通过创建专用日志组、设置目录权限（如
chmod 640）限制访问。
-
自动化清理
- 编写脚本定期删除过期日志（如7天前），并通过
crontab定时执行。
- 编写脚本定期删除过期日志（如7天前），并通过
注意：修改配置前备份重要数据，生产环境建议将日志级别设为INFO或WARN，避免影响性能。