单机部署Yarn：从环境准备到生产就绪的完整指南

在大数据处理场景中，Yarn（Yet Another Resource Negotiator）作为Hadoop生态的核心组件，承担着资源管理与任务调度的关键职责。相较于分布式集群部署，单机环境下的Yarn部署更适合开发测试、教学演示及资源受限场景。本文将系统阐述单机部署Yarn的全流程，从环境准备到生产级配置优化，为开发者提供可落地的技术方案。

一、环境准备：构建部署基石

1.1 硬件资源评估

单机部署Yarn需满足最低硬件要求：CPU核心数≥4（建议8核以上）、内存≥16GB（生产环境建议32GB+）、磁盘空间≥200GB（含日志与临时文件存储）。对于内存密集型应用（如Spark作业），需预留至少50%内存用于Yarn自身运行。

1.2 操作系统配置

推荐使用CentOS 7/8或Ubuntu 20.04 LTS等稳定发行版。需关闭SELinux（setenforce 0）并配置防火墙规则，开放8088（ResourceManager Web UI）、8042（NodeManager Web UI）等关键端口。时间同步服务（NTP）需保持开启，避免节点间时间不同步导致的任务失败。

1.3 Java环境安装

Yarn依赖Java 8/11运行时环境。建议通过包管理器安装OpenJDK：

# CentOS示例
sudo yum install java-11-openjdk-devel
# Ubuntu示例
sudo apt install openjdk-11-jdk

验证安装：

java -version
# 应输出类似：openjdk version "11.0.15" 2022-04-19

1.4 Hadoop基础环境

需预先安装Hadoop 3.x版本（与Yarn 3.x兼容）。解压安装包后，配置hadoop-env.sh中的JAVA_HOME路径：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

二、Yarn核心组件安装与配置

2.1 安装方式选择

推荐从Apache官方仓库下载稳定版Yarn：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz -C /opt/
ln -s /opt/hadoop-3.3.4 /opt/hadoop

2.2 核心配置文件解析

修改/opt/hadoop/etc/hadoop/yarn-site.xml，关键参数配置如下：

<configuration>
  <!-- 资源管理器配置 -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
  <!-- 节点管理器内存配置 -->
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value> <!-- 占系统内存的50% -->
  </property>
  <!-- 虚拟CPU核数配置 -->
  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>4</value> <!-- 占物理核心的50% -->
  </property>
  <!-- 日志聚合配置 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
</configuration>

2.3 环境变量配置

在/etc/profile中添加：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

执行source /etc/profile使配置生效。

三、启动与验证流程

3.1 服务启动步骤

1. 格式化HDFS（仅首次需要）：

   hdfs namenode -format

2. 启动HDFS服务：

   start-dfs.sh

3. 启动Yarn服务：

   start-yarn.sh

3.2 集群状态验证

通过Web UI验证服务状态：

• ResourceManager：http://localhost:8088
• NodeManager：http://localhost:8042

使用命令行检查运行节点：

yarn node -list
# 应输出类似：
# 192.168.1.100:45454  RUNNING

3.3 提交测试任务

运行简单的Pi计算示例：

yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 2 5

成功执行后应输出近似3.14的π值。

四、生产级优化实践

4.1 内存管理优化

配置动态内存分配（需在mapred-site.xml中同步设置）：

<property>
  <name>yarn.scheduler.maximum-allocation-mb</name>
  <value>6144</value> <!-- 最大容器内存 -->
</property>
<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
  <value>1024</value> <!-- 最小容器内存 -->
</property>

4.2 资源隔离策略

启用Cgroups隔离（需Linux内核支持）：

<property>
  <name>yarn.nodemanager.linux-container-executor.cgroups.hierarchy</name>
  <value>/yarn</value>
</property>
<property>
  <name>yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage</name>
  <value>true</value>
</property>

4.3 日志管理方案

配置日志滚动策略（log4j.properties）：

log4j.appender.DRFA=org.apache.log4j.DailyRollingFileAppender
log4j.appender.DRFA.File=${hadoop.log.dir}/yarn-${user.name}-nodemanager-${hostname}.log
log4j.appender.DRFA.DatePattern=.yyyy-MM-dd

五、常见问题解决方案

5.1 内存不足错误

现象：Container [pid=...] is running beyond physical memory limits
解决：

1. 调大yarn.nodemanager.resource.memory-mb
2. 降低单个任务内存需求（通过mapreduce.map.memory.mb参数）

5.2 端口冲突问题

现象：Address already in use
解决：

1. 修改yarn-site.xml中的端口配置：

   <property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>localhost:8089</value> <!-- 替换默认8088 -->
   </property>

2. 使用netstat -tulnp | grep java定位冲突进程

5.3 版本兼容性问题

现象：Incompatible version错误
解决：

1. 确保Hadoop与Yarn版本匹配（如Hadoop 3.3.4对应Yarn 3.3.4）
2. 检查HADOOP_CLASSPATH是否包含冲突的JAR包

六、进阶部署场景

6.1 Docker化部署

使用官方镜像快速部署：

docker run -d --name yarn-node \
  -p 8088:8088 -p 8042:8042 \
  -v /opt/hadoop/logs:/opt/hadoop/logs \
  bde2020/hadoop-yarn:3.3.4

6.2 高可用配置（伪分布式）

通过Zookeeper实现ResourceManager HA：

<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>yarn-cluster</value>
</property>

七、最佳实践总结

1. 资源预留：始终为系统进程保留至少25%的CPU和内存资源
2. 监控集成：通过Prometheus+Grafana监控关键指标（如ContainersRunning、AllocatedGB）
3. 配置备份：定期备份$HADOOP_HOME/etc/hadoop/目录下的配置文件
4. 版本管理：使用rpm -q hadoop或dpkg -l | grep hadoop跟踪安装版本

通过本文的详细指导，开发者可在单机环境下快速构建稳定的Yarn资源管理平台，为大数据处理任务提供可靠的基础设施支持。实际部署时，建议结合具体业务场景进行参数调优，并通过压力测试验证系统极限承载能力。