在讲解 7.2 节中如何部署 Flink 作业之前,希望能够再细讲下 Flink 中的配置,虽然在 2.2 节中简单讲解过。
Flink 配置详解
flink-conf.yaml
基础配置
# jobManager 的IP地址
jobmanager.rpc.address: localhost# JobManager 的端口号
jobmanager.rpc.port: 6123# JobManager JVM heap 内存大小
jobmanager.heap.size: 1024m# TaskManager JVM heap 内存大小
taskmanager.heap.size: 1024m# 每个 TaskManager 提供的任务 slots 数量大小taskmanager.numberOfTaskSlots: 1# 程序默认并行计算的个数
parallelism.default: 1# 文件系统来源
# fs.default-scheme
高可用性配置
# 可以选择 'NONE' 或者 'zookeeper'.
# high-availability: zookeeper# 文件系统路径,让 Flink 在高可用性设置中持久保存元数据
# high-availability.storageDir: hdfs:///flink/ha/# zookeeper 集群中仲裁者的机器 ip 和 port 端口号
# high-availability.zookeeper.quorum: localhost:2181# 默认是 open,如果 zookeeper security 启用了该值会更改成 creator
# high-availability.zookeeper.client.acl: open
容错和检查点配置