查YARN 日志聚合目录 /tmp/logs 占用大小执行查看大小hdfs dfs -du -h /tmp/logs1日志聚合日志目录由 yarn-site.xmlyarn.nodemanager.remote-app-log-dir 配置的目录存放2在yarn-default.xml查看目前配置yarn.log-aggregation.retain-seconds604800在HDFS上聚集的日志最多保存多长时间单位秒7天yarn.log-aggregation.retain-check-interval-seconds86400检查聚合日志保留情况任务执行间隔时间1天修改参数后需要重启nodemanager官网解释https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml补充yarn.nodemanager.remote-app-log-dir 和yarn.nodemanager.log-dirs 的区别yarn.nodemanager.log-dirs 存储在每个 NM 节点本地磁盘存储的是应用运行时的容器日志stdout/stderr/syslog,是临时的作业跑完即清理可配多个目录提升本地 I/O 吞吐yarn.nodemanager.remote-app-log-dir 存储在远端文件系统HDFS / 其余云存储存储的是应用结束后聚合上传的集中日志可长期保留靠 yarn.log-aggregation.retain-seconds 管保留只能配置一个远端根目录HDFS 回收站 .Trash查看命令hdfs dfs -du -h /user/*/.Trash清理规则调整(core-site.xml)fs.trash.interval1440 保留 1 天 检查点删除前的分钟数单位是分钟0禁用回收站fs.trash.checkpoint.interval 检查点间隔分钟数需 ≤ fs.trash.intervalNameNode 上的 Trash Emptier 线程定期创建检查点并清理超期文件客户端 hdfs dfs -rm 删除时读取它来决定是否移入 .Trash修改参数后需要重启Namenode官网解释 https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xmlSpark History EventLogspark-defaults.confspark.history.fs.cleaner.enabled默认 false,true开启自动清理spark.history.fs.cleaner.interval默认 1dHow often the cleaner checks for files to delete.spark.history.fs.cleaner.maxAge默认 7dJob history files older than this will be deleted.JobHistoryServer 不参与日志删除无需重启spark Monitoring 文档https://spark.apache.org/docs/latest/monitoring.html服务日志清理守护进程NameNode/DataNode/ResourceManager/NodeManager 等自己的运行日志清理机制是 log4j 的滚动保留份数而不是 Hadoop 配置项最好的办法是编写脚本使用命令周期删除(1)存储地址这些日志写在本地磁盘目录由 hadoop-env.sh 的 HADOOP_LOG_DIR 决定2删除参数Hadoop 2.xlog4j 1.x— set MaxBackupIndex保留 N 个、超出删最旧MaxBackupIndex 决定在删除最旧备份前保留的备份文件最大数量正整数。默认值为 1https://logging.apache.org/log4j/1.x/apidocs/org/apache/log4j/RollingFileAppender.htmlHadoop 3.xlog4j2— DefaultRolloverStrategy 与 DeleteDefaultRolloverStrategy 的 max 属性默认值N 7达到 N 个删最旧Delete action IfLastModifiedhttps://logging.apache.org/log4j/2.x/manual/appenders/rolling-file.html