一、为什么选择Docker部署Flink单机版？

Apache Flink作为一款开源的流处理框架，以其低延迟、高吞吐和精确一次状态处理能力著称。在开发测试阶段，单机部署是验证功能、调试作业的高效方式。而Docker的轻量化、隔离性和可移植性特点，使其成为Flink单机部署的理想选择：

环境隔离：避免与宿主系统依赖冲突，确保Flink运行环境纯净。
快速部署：通过预构建镜像或Dockerfile，分钟级完成环境搭建。
资源可控：通过CPU/内存限制，防止Flink占用过多宿主资源。
跨平台兼容：同一镜像可在开发、测试、生产环境无缝迁移。

二、部署前环境准备

2.1 硬件要求

CPU：建议4核以上（流处理作业可能涉及高并发计算）。
内存：8GB以上（Flink TaskManager默认分配总内存的70%）。
磁盘：20GB以上可用空间（用于存储检查点和日志）。

2.2 软件依赖

Docker Engine：版本需≥19.03（支持BuildKit和cgroup v2）。

# Ubuntu/Debian安装示例
curl -fsSL https://get.docker.com | sh
sudo usermod -aG docker $USER  # 添加当前用户到docker组

网络配置：确保宿主机的9000-9100端口未被占用（Flink默认Web UI和RPC端口）。

三、Flink Docker镜像选择

3.1 官方镜像

Apache Flink官方提供预构建的Docker镜像，包含以下变体：

flink:latest：最新稳定版，包含所有组件（JobManager、TaskManager、Web UI）。
flink:scala_2.12-java11：指定Scala和Java版本的精简镜像。
flink:hadoopXX：集成Hadoop依赖的镜像（用于HDFS访问）。

# 拉取最新官方镜像
docker pull flink:latest

3.2 自定义镜像构建（可选）

若需修改配置或添加依赖，可通过Dockerfile自定义：

FROM flink:latest
# 添加自定义配置文件
COPY flink-conf.yaml /opt/flink/conf/
# 安装额外工具（如jq用于JSON处理）
RUN apt-get update && apt-get install -y jq

构建并运行：

docker build -t my-flink .
docker run -d --name flink-custom my-flink

四、单机部署详细步骤

4.1 启动独立集群模式

Flink支持两种单机运行方式：Session模式（长期运行集群）和Per-Job模式（作业完成后退出）。此处以Session模式为例：

# 启动JobManager和TaskManager（单容器内）
docker run -d \
  --name flink-session \
  -p 8081:8081 \
  -p 6123:6123 \
  -t flink:latest \
  standalone-job

端口说明：
- 8081：Web UI访问端口。
- 6123：JobManager RPC端口。

4.2 启动分离式集群（推荐）

更接近生产环境的部署方式是分离JobManager和TaskManager：

4.2.1 启动JobManager

docker run -d \
  --name flink-jobmanager \
  -p 8081:8081 \
  -p 6123:6123 \
  -e JOB_MANAGER_RPC_ADDRESS=jobmanager \
  flink:latest jobmanager

4.2.2 启动TaskManager

docker run -d \
  --name flink-taskmanager \
  -e JOB_MANAGER_RPC_ADDRESS=jobmanager \
  flink:latest taskmanager

关键环境变量：
- JOB_MANAGER_RPC_ADDRESS：JobManager的容器名或IP。
- TASK_MANAGER_NUMBER_OF_TASK_SLOTS：每个TaskManager的槽位数（默认1）。

4.3 验证部署

访问 http://localhost:8081，应看到Flink Web UI，显示1个JobManager和1个TaskManager。

五、提交作业到Flink集群

5.1 使用官方示例作业

# 进入Flink容器
docker exec -it flink-session bash
# 下载示例JAR包
curl -O https://repo.maven.apache.org/maven2/org/apache/flink/flink-examples-streaming_2.12/1.16.0/flink-examples-streaming_2.12-1.16.0-TopSpeedWindowing.jar
# 提交作业
/opt/flink/bin/flink run -c org.apache.flink.streaming.examples.windowing.TopSpeedWindowing \
  flink-examples-streaming_2.12-1.16.0-TopSpeedWindowing.jar

5.2 提交本地JAR包

若作业JAR包在宿主机，可通过卷挂载访问：

docker run -d \
  --name flink-with-job \
  -p 8081:8081 \
  -v /path/to/local/jar:/job \
  flink:latest \
  standalone-job -j /job/your-job.jar

六、常见问题与解决方案

6.1 端口冲突

现象：启动时报 Bind for 0.0.0.0:8081 failed。
解决：修改宿主机的端口映射或停止占用进程：

sudo lsof -i :8081  # 查找占用进程
sudo kill -9 <PID>  # 终止进程

6.2 内存不足

现象：TaskManager频繁重启，日志显示 Container killed by YARN for exceeding memory limits。
解决：通过环境变量调整内存配置：

docker run -d \
  --name flink-taskmanager \
  -e TASK_MANAGER_MEMORY_PROCESS_SIZE=1024m \
  flink:latest taskmanager

或修改 flink-conf.yaml：

taskmanager.memory.process.size: 1024mb

6.3 检查点失败

现象：作业因检查点超时失败。
解决：调整检查点间隔和超时时间：

# flink-conf.yaml
execution.checkpointing.interval: 10min
execution.checkpointing.timeout: 15min

七、进阶配置

7.1 日志持久化

将Flink日志挂载到宿主机以便长期保存：

docker run -d \
  --name flink-with-logs \
  -v /path/to/logs:/opt/flink/log \
  flink:latest

7.2 高可用性（HA）配置

单机环境下可通过本地文件系统实现简单HA：

# flink-conf.yaml
high-availability: org.apache.flink.runtime.highavailability.StandaloneHighAvailabilityServices
high-availability.storageDir: file:///tmp/flink/ha
high-availability.jobmanager.port: 6123-6124

八、总结与最佳实践

资源监控：使用 docker stats 实时查看容器资源占用。
版本锁定：在生产环境中固定Flink和Docker版本，避免兼容性问题。
备份配置：定期备份 flink-conf.yaml 和检查点目录。
网络模式：若需与宿主机网络互通，添加 --network host 参数（但会失去端口隔离性）。

通过Docker部署Flink单机版，开发者可以快速构建一个功能完整、资源可控的流处理环境，为后续集群扩展和性能调优奠定基础。

Apache Flink单机Docker部署指南：从环境搭建到作业运行