单机部署Yarn全流程指南：从环境准备到集群模拟

一、为何选择单机部署Yarn？

在分布式资源管理领域，Yarn（Yet Another Resource Negotiator）作为Hadoop生态的核心组件，承担着作业调度与资源分配的重任。尽管生产环境通常采用多节点集群部署，但单机部署Yarn在以下场景中具有显著价值：

开发调试：开发者可在本地环境模拟集群行为，快速验证作业逻辑与资源需求，避免频繁提交到测试集群。
教学演示：教育机构或培训场景中，单机部署可降低硬件门槛，直观展示Yarn的核心机制。
轻量级任务：对于数据量较小、计算复杂度低的任务，单机环境足以满足需求，减少资源浪费。

二、环境准备：基础条件与依赖项

1. 硬件要求

内存：建议至少8GB RAM（若运行内存密集型作业，需增加至16GB+）。
磁盘：预留20GB+空闲空间（用于存储日志、临时文件等）。
CPU：双核及以上处理器（多核可提升并行任务处理能力）。

2. 软件依赖

操作系统：Linux（推荐Ubuntu 20.04/CentOS 7+）或macOS（需通过Homebrew安装依赖）。
Java环境：JDK 8或11（Yarn 3.x+支持JDK 11，但需验证版本兼容性）。
Hadoop基础：Yarn依赖Hadoop Common库，需安装对应版本的Hadoop（如Hadoop 3.3.1）。

3. 网络配置

确保主机名可解析（修改/etc/hosts文件，添加127.0.0.1 localhost及主机名映射）。
关闭防火墙或开放必要端口（默认8020/8030/8040等）。

三、安装与配置：分步骤详解

1. 下载与解压

从Apache官网下载Yarn稳定版（如yarn-3.3.1.tar.gz），解压至指定目录：

tar -xzvf yarn-3.3.1.tar.gz -C /opt/
cd /opt/yarn-3.3.1

2. 配置环境变量

编辑~/.bashrc或~/.zshrc，添加以下内容：

export YARN_HOME=/opt/yarn-3.3.1
export PATH=$YARN_HOME/bin:$PATH
export HADOOP_HOME=/opt/hadoop-3.3.1  # 假设Hadoop已安装在此路径
export PATH=$HADOOP_HOME/bin:$PATH

执行source ~/.bashrc使配置生效。

3. 核心配置文件修改

（1）`yarn-site.xml`

<configuration>
  <!-- 启用单机模式（关键配置） -->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>false</value>
  </property>
  <!-- 指定ResourceManager地址 -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
  <!-- 配置NodeManager内存 -->
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>  <!-- 根据实际内存调整 -->
  </property>
  <!-- 配置虚拟CPU核心数 -->
  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>2</value>
  </property>
</configuration>

（2）`mapred-site.xml`（可选，用于MapReduce作业）

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

4. 启动服务

按顺序启动以下服务：

# 启动ResourceManager
$YARN_HOME/sbin/yarn-daemon.sh start resourcemanager
# 启动NodeManager
$YARN_HOME/sbin/yarn-daemon.sh start nodemanager
# 验证服务状态
jps  # 应看到ResourceManager与NodeManager进程

四、验证与测试：确保部署成功

1. Web UI检查

访问http://localhost:8088，应看到Yarn集群概览页面，显示1个活跃的NodeManager。

2. 提交测试作业

使用hadoop jar提交一个简单作业（如计算π的近似值）：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar pi 2 5

通过Web UI或命令行yarn application -list查看作业状态。

3. 日志分析

检查NodeManager日志（$YARN_HOME/logs/yarn--nodemanager-*.log）与ResourceManager日志，排查启动或运行错误。

五、常见问题与解决方案

1. 端口冲突

现象：启动失败，日志提示端口已被占用。
解决：修改yarn-site.xml中的端口配置（如yarn.resourcemanager.webapp.address），或终止占用端口的进程。

2. 内存不足

现象：NodeManager频繁崩溃，日志显示OutOfMemoryError。
解决：调整yarn.nodemanager.resource.memory-mb值，或增加系统交换空间（swap）。

3. 版本兼容性

现象：Yarn与Hadoop版本不匹配，导致类加载失败。
解决：确保Yarn与Hadoop版本一致（如均使用3.3.1），或参考官方兼容性矩阵。

六、进阶优化：提升单机性能

1. 资源隔离

通过cgroups限制NodeManager的资源使用，避免影响主机其他进程。

2. 模拟多节点

使用Docker容器或虚拟机创建多个伪节点，配置yarn-site.xml中的yarn.resourcemanager.ha.enabled为true，并指定多个NodeManager地址。

3. 监控集成

集成Prometheus+Grafana监控Yarn指标，实时观察资源使用情况与作业进度。

七、总结与展望

单机部署Yarn为开发者提供了一个低成本、高灵活性的测试环境，通过合理配置与优化，可模拟接近真实集群的行为。未来，随着容器化技术的普及，结合Kubernetes部署Yarn单节点将成为新的趋势，进一步简化环境管理与资源调度。对于初学者而言，掌握单机部署是深入理解Yarn架构与工作原理的重要一步。

单机部署Yarn全流程指南：从环境配置到集群模拟