一、引言：为何选择Flink on YARN单机部署？

Apache Flink作为一款高性能流处理框架，广泛应用于实时数据分析、事件驱动型应用等场景。对于开发测试或小型生产环境，单机部署Flink on YARN（Yet Another Resource Negotiator）是一种高效且资源可控的方案。YARN作为Hadoop生态的核心资源管理器，能够动态分配集群资源，而单机部署则通过模拟集群环境，简化调试流程，降低硬件成本。本文将详细阐述如何在单机环境下通过YARN部署Flink，并完成单机启动与作业提交。

二、环境准备：基础条件与依赖安装

1. 硬件与软件要求

硬件：建议至少8GB内存、4核CPU的机器，以支持Flink JobManager和TaskManager的基本运行。
软件：
- Hadoop 2.7+（含YARN组件）
- Java 8或更高版本
- Flink 1.11+（与Hadoop版本兼容）

2. 安装Hadoop与YARN

下载Hadoop：从Apache官网下载二进制包（如hadoop-3.3.1.tar.gz），解压至/opt/hadoop。

配置环境变量：

export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

修改配置文件：
- etc/hadoop/core-site.xml：设置HDFS默认路径（单机模式可跳过HDFS，但需配置本地文件系统）。
- etc/hadoop/yarn-site.xml：启用YARN资源调度，配置yarn.nodemanager.resource.memory-mb（如4096MB）。
- etc/hadoop/mapred-site.xml：设置MapReduce框架为YARN（mapreduce.framework.name=yarn）。

3. 安装Flink

下载Flink：从Apache官网下载与Hadoop兼容的版本（如flink-1.14.0-bin-scala_2.12.tgz），解压至/opt/flink。

配置Flink-YARN集成：

修改conf/flink-conf.yaml：

yarn.application-name: Flink-on-YARN-Demo
jobmanager.rpc.address: localhost  # 单机模式使用本地地址
taskmanager.numberOfTaskSlots: 2   # 根据CPU核心数调整

确保lib目录包含Hadoop依赖（如flink-shaded-hadoop-3-uber-3.1.1.7.2.0.0-248.jar）。

三、Flink on YARN单机部署步骤

1. 启动Hadoop YARN服务

在单机环境下，需启动YARN的ResourceManager和NodeManager：

$HADOOP_HOME/sbin/start-yarn.sh

验证服务状态：

jps  # 应显示ResourceManager、NodeManager进程

2. 通过YARN提交Flink作业

使用yarn-session.sh启动Flink集群：

/opt/flink/bin/yarn-session.sh \
  -n 1 \                      # 指定1个TaskManager
  -jm 1024 \                  # JobManager内存（MB）
  -tm 1024 \                  # 每个TaskManager内存（MB）
  -s 2 \                      # 每个TaskManager的Slot数
  -d                          # 后台运行

参数说明：

-n：TaskManager数量（单机模式设为1）。
-jm/-tm：内存配置需根据机器资源调整，避免OOM。
-s：Slot数应≤CPU核心数。

3. 验证部署成功

查看YARN应用：
```
yarn application -list
```
输出应包含状态为RUNNING的Flink应用。
访问Flink Web UI：
通过YARN日志获取JobManager的Web UI地址（通常为http://<hostname>:8088/proxy/<application_id>/），检查任务槽和资源使用情况。

四、Flink单机启动（独立模式）

若无需YARN资源管理，可直接启动Flink独立集群：

1. 启动JobManager和TaskManager

/opt/flink/bin/start-cluster.sh

配置文件调整：

conf/masters：指定JobManager主机（如localhost:8081）。
conf/workers：列出TaskManager主机（单机模式仅需localhost）。

2. 提交作业

使用bin/flink run提交JAR包：

/opt/flink/bin/flink run -c com.example.MainClass /path/to/job.jar

五、常见问题与解决方案

1. 内存不足错误

现象：Container killed by YARN for exceeding memory limits。
解决：调整-jm/-tm参数，或修改YARN配置yarn.nodemanager.resource.memory-mb。

2. 依赖冲突

现象：ClassNotFoundException。
解决：确保Flink的lib目录包含正确版本的Hadoop依赖，或使用-Djava.library.path指定路径。

3. 网络连接问题

现象：JobManager无法访问TaskManager。
解决：检查flink-conf.yaml中的jobmanager.rpc.address，确保防火墙允许相关端口（如6123、8081）。

六、最佳实践与优化建议

资源隔离：单机模式下，通过taskmanager.memory.process.size限制Flink总内存，避免影响其他服务。
日志管理：配置log4j.properties将日志输出至文件，便于调试。
动态扩展：若需模拟多节点，可在同一台机器启动多个TaskManager（通过不同端口和配置文件）。

七、总结

通过YARN部署Flink单机环境，开发者能够在控制资源的同时，利用YARN的调度能力简化作业管理。本文从环境准备、配置修改到作业提交，提供了完整的操作流程，并针对常见问题给出了解决方案。无论是开发测试还是轻量级生产场景，此方案均能高效满足需求。未来可进一步探索Flink on Kubernetes等容器化部署方式，以适应更复杂的分布式环境。

Flink on YARN部署与单机启动全解析：从环境配置到作业提交