冠军资讯
半杯凉茶在使用 Hadoop 构建大数据平台时，很多开发者对 Hadoop 核心目录的理解不够深入，导致在集群维护、性能优化和故障排查过程中遇到各种问题。本文结合我十年的后端架构经验，详细解读 Hadoop 核心目录的功能，并分享一些实战中的避坑经验。
Hadoop 核心目录一览表
| 目录名称 | 常见路径 | 功能描述 | 重要性 | 备注 |
|---|---|---|---|---|
/tmp | /tmp | 临时文件目录，Hadoop运行时产生的一些临时文件会放在这里。 | 低 | 定期清理，避免占用过多磁盘空间 |
/user | /user | 用户目录，用于存储用户的数据。 | 高 | 权限管理非常重要，防止数据泄露 |
/hadoop/hdfs/name | /data1/hadoop/hdfs/name, /data2/hadoop/hdfs/name | NameNode 的元数据存储目录，包括 fsimage 和 edits 文件。 | 非常高 | 备份！备份！备份！丢失数据会导致整个集群瘫痪 |
/hadoop/hdfs/data | /data1/hadoop/hdfs/data, /data2/hadoop/hdfs/data | DataNode 的数据块存储目录，实际的数据块存储在这里。 | 高 | 监控磁盘空间，及时扩容 |
/hadoop/yarn/local | /data1/hadoop/yarn/local, /data2/hadoop/yarn/local | YARN 本地资源目录，Application Master 和 Container 运行时产生的临时文件。 | 中 | 定期清理，避免占用过多磁盘空间 |
/hadoop/yarn/log | /data1/hadoop/yarn/log, /data2/hadoop/yarn/log | YARN 日志目录，存储 Application Master 和 Container 的日志。 | 中 | 便于问题排查，需要定期归档 |
/mapred/system | /mapred/system | MapReduce 系统目录，存储 MapReduce 框架的元数据。 | 中 | 一般不需要手动修改 |
/mr-history/done | /mr-history/done | MapReduce 历史作业信息目录，存储已经完成的 MapReduce 作业信息。 | 低 | 可以配置自动清理策略 |
/hdp/apps | /hdp/apps | HDP 组件安装目录 (如果使用 Hortonworks 发行版)。 | 中 | 不要随意修改 |
/etc/hadoop/conf | /etc/hadoop/conf | Hadoop 配置文件目录，存储 Hadoop 的配置文件。 | 非常高 | 修改配置需要谨慎，避免导致集群不稳定 |
重点目录深度剖析
NameNode 元数据目录：/hadoop/hdfs/name
NameNode 是 Hadoop 集群的核心组件，负责管理文件系统的元数据。/hadoop/hdfs/name 目录存储了 NameNode 的元数据，包括 fsimage 和 edits 文件。fsimage 是文件系统元数据的快照，edits 文件记录了文件系统元数据的变更操作。NameNode 启动时，会将 fsimage 加载到内存中，并重放 edits 文件，从而恢复文件系统的元数据。
实战避坑经验：
- 定期备份： NameNode 元数据是整个集群的核心，务必定期备份。可以使用 Hadoop 自带的
hdfs oiv命令将 fsimage 转换为可读的 XML 文件，方便进行元数据分析和恢复。 - 多目录配置： 建议配置多个 NameNode 元数据存储目录，提高元数据的可靠性。如果一个目录损坏，NameNode 可以从其他目录恢复元数据。
- 合理设置
dfs.namenode.checkpoint.period和dfs.namenode.checkpoint.txns： 这两个参数控制 NameNode 进行 checkpoint 的频率，checkpoint 会将内存中的元数据刷新到 fsimage 文件中。合理的设置可以减少 NameNode 重启时重放 edits 文件的时间。
DataNode 数据块存储目录：/hadoop/hdfs/data
DataNode 负责存储实际的数据块。/hadoop/hdfs/data 目录存储了 DataNode 的数据块文件。Hadoop 将文件分割成多个数据块，并将这些数据块存储在不同的 DataNode 上。为了保证数据的可靠性，Hadoop 会对数据块进行冗余备份。
实战避坑经验：
- 监控磁盘空间： 定期监控 DataNode 的磁盘空间，及时扩容。如果磁盘空间不足，DataNode 将无法存储新的数据块，导致集群性能下降。
- 多目录配置： 建议配置多个 DataNode 数据块存储目录，提高数据存储的吞吐量。
- 合理配置
dfs.datanode.du.reserved： 这个参数设置 DataNode 保留的磁盘空间，防止磁盘被完全占满。如果磁盘被完全占满，DataNode 可能会出现问题。
YARN 本地资源目录和日志目录：/hadoop/yarn/local 和 /hadoop/yarn/log
YARN 是 Hadoop 的资源管理器，负责管理集群的计算资源。/hadoop/yarn/local 目录存储了 Application Master 和 Container 运行时产生的临时文件。/hadoop/yarn/log 目录存储了 Application Master 和 Container 的日志。
实战避坑经验：
- 定期清理： YARN 本地资源目录会产生大量的临时文件，需要定期清理。可以使用 Linux 的
find命令结合xargs命令进行清理。
find /data1/hadoop/yarn/local -type f -mtime +7 -print0 | xargs -0 rm -f # 删除7天前的临时文件
find /data2/hadoop/yarn/local -type f -mtime +7 -print0 | xargs -0 rm -f
- 日志归档： YARN 日志目录存储了 Application Master 和 Container 的日志，对于问题排查非常重要。建议定期将日志归档到 HDFS 或其他存储系统中。
- 配置日志级别： 合理配置 Application Master 和 Container 的日志级别，避免产生过多的日志，影响性能。可以使用 log4j 或其他日志框架进行配置。
Hadoop 配置文件目录：/etc/hadoop/conf
/etc/hadoop/conf 目录是 Hadoop 配置文件目录，存储了 Hadoop 的核心配置文件，例如 core-site.xml、hdfs-site.xml、yarn-site.xml 和 mapred-site.xml。这些配置文件定义了 Hadoop 集群的各种参数，例如 NameNode 地址、DataNode 地址、YARN 资源配置等。修改这些配置文件需要谨慎，错误的配置可能导致集群不稳定。
实战避坑经验：
- 备份配置文件： 在修改配置文件之前，务必备份原始配置文件。可以使用
cp命令进行备份。
cp /etc/hadoop/conf/hdfs-site.xml /etc/hadoop/conf/hdfs-site.xml.bak
- 使用专业的配置管理工具： 建议使用专业的配置管理工具，例如 Apache Ambari 或 Cloudera Manager，来管理 Hadoop 的配置。这些工具可以帮助你避免配置错误，并提供配置版本管理功能。
- 了解配置参数的含义： 在修改配置参数之前，务必了解参数的含义。可以参考 Hadoop 的官方文档，或咨询 Hadoop 专家。
通过深入了解 Hadoop 核心目录的功能，并结合实战经验，可以更好地维护和优化 Hadoop 集群，提高集群的性能和稳定性。
