一、为什么选择Docker部署Pulsar单机版？

Apache Pulsar作为新一代云原生分布式消息系统，其单机部署场景常见于开发测试、边缘计算及轻量级应用。Docker容器化部署具有以下核心优势：

1. 环境隔离性：通过容器技术实现Pulsar服务与宿主机的资源隔离，避免依赖冲突。例如，Pulsar默认需要Java 11环境，使用Docker可避免与宿主机JDK版本冲突。
2. 快速启停能力：容器启动时间较传统虚拟机缩短80%以上，适合CI/CD流水线中的临时测试环境。
3. 配置标准化：通过Dockerfile和docker-compose文件固化部署参数，确保不同环境的一致性。
4. 资源控制精细化：支持CPU/内存限额设置，防止单机环境下Pulsar占用过多系统资源。

二、部署前环境准备

2.1 硬件要求

• CPU：建议4核以上（生产环境推荐8核）
• 内存：最低8GB（含BookKeeper存储时建议16GB+）
• 磁盘：至少50GB可用空间（SSD性能更优）
• 网络：千兆网卡，确保Broker与BookKeeper节点间延迟<1ms

2.2 软件依赖

• Docker Engine 20.10+（需支持BuildKit）
• docker-compose 1.29+
• Linux内核5.4+（支持cgroup v2）
• 端口开放：6650（Pulsar协议）、8080（HTTP REST）、6651（内部通信）

验证环境命令示例：

# 检查Docker版本
docker --version
# 验证cgroup驱动
docker info | grep "Cgroup Driver"
# 测试端口连通性
nc -zv localhost 6650

三、Docker镜像选择策略

3.1 官方镜像分析

Apache Pulsar官方提供两种Docker镜像：

• 基础镜像：apachepulsar/pulsar:latest（仅包含Broker服务）
• 全功能镜像：apachepulsar/pulsar-all:latest（集成Broker、BookKeeper、ZooKeeper）

对于单机部署，推荐使用pulsar-all镜像，其已预置：

• ZooKeeper 3.6.3（嵌入式）
• BookKeeper 4.14.3（本地存储）
• Broker 2.11.0（最新稳定版）

3.2 镜像优化技巧

1. 固定版本标签：避免使用latest标签，建议指定具体版本如2.11.0
2. 多阶段构建：开发环境可构建自定义镜像减少层数
3. 镜像缓存：通过--cache-from参数加速重复构建

示例Dockerfile片段：

FROM apachepulsar/pulsar-all:2.11.0 as builder
WORKDIR /opt/pulsar
COPY conf/standalone.conf /opt/pulsar/conf/
COPY scripts/init.sh /opt/pulsar/bin/
FROM eclipse-temurin:11-jre-jammy
COPY --from=builder /opt/pulsar /opt/pulsar

四、单机部署实战步骤

4.1 使用docker-compose快速部署

创建docker-compose.yml文件：

version: '3.8'
services:
  pulsar:
    image: apachepulsar/pulsar-all:2.11.0
    container_name: pulsar-standalone
    ports:
      - "6650:6650"
      - "8080:8080"
    environment:
      - PULSAR_MEM=-Xms512m -Xmx2g
      - PULSAR_ROOT_LOGGER=INFO,CONSOLE
    volumes:
      - ./data:/pulsar/data
      - ./conf:/pulsar/conf
    command: ["bin/pulsar", "standalone", "-nfw", "--no-functions-worker"]

关键参数说明：

• PULSAR_MEM：JVM内存配置，单机测试建议-Xms512m -Xmx2g
• -nfw：禁用Functions Worker（非必要服务）
• 卷映射：确保数据持久化

启动命令：

docker-compose up -d
# 验证服务状态
docker logs pulsar-standalone | grep "Started"

4.2 手动Docker运行方式

对于需要更细粒度控制的场景：

docker run -d \
  --name pulsar-standalone \
  -p 6650:6650 \
  -p 8080:8080 \
  -v $PWD/data:/pulsar/data \
  -e PULSAR_MEM="-Xms1g -Xmx3g" \
  apachepulsar/pulsar-all:2.11.0 \
  bin/pulsar standalone

五、生产环境优化建议

5.1 配置调优参数

1. ZooKeeper配置：

   # conf/standalone.conf
   zookeeperServers=localhost:2181
   tickTime=2000
   initLimit=10
   syncLimit=5

2. BookKeeper调优：

   # conf/bk_server.conf
   journalSyncWaterMark=8388608
   diskUsageThreshold=0.95
   ledgerStorageClass=org.apache.bookkeeper.bookie.storage.ldb.DbLedgerStorage

3. Broker优化：

   # conf/broker.conf
   managedLedgerDefaultEnsembleSize=1
   managedLedgerDefaultWriteQuorum=1
   managedLedgerDefaultAckQuorum=1
   backlogQuotaDefaultLimitGB=10

5.2 监控集成方案

1. Prometheus监控：

   # docker-compose.yml扩展
   prometheus:
     image: prom/prometheus:v2.42.0
     ports:
       - "9090:9090"
     volumes:
       - ./prometheus.yml:/etc/prometheus/prometheus.yml

2. Grafana仪表盘：
   导入Pulsar官方Dashboard（ID：14003）

3. 健康检查端点：

   curl -I http://localhost:8080/metrics
   curl http://localhost:8080/admin/v2/broker-health

六、常见问题解决方案

6.1 端口冲突处理

现象：Bind for 0.0.0.0:6650 failed: port is already allocated
解决方案：

1. 检查现有进程：

   sudo lsof -i :6650

2. 修改docker-compose端口映射或终止冲突进程

6.2 存储空间不足

现象：No space left on device
解决方案：

1. 扩展卷大小：

   docker volume inspect pulsar-standalone_data
   # 停止服务后删除旧数据
   rm -rf ./data/*

2. 配置自动清理策略：

   # conf/broker.conf
   retentionPolicies=messages:3d,time:3d

6.3 性能瓶颈分析

工具推荐：

1. JConsole监控：

   docker exec -it pulsar-standalone jconsole localhost:1099

2. BookKeeper日志分析：

   docker exec -it pulsar-standalone tail -f /pulsar/data/bookkeeper/ledgers/current/LAST_LOG_ID

七、进阶部署场景

7.1 多Broker集群模拟

通过修改standalone.conf实现：

clusterName=standalone
configurationStoreServers=localhost:2181
brokerServicePort=6650
webServicePort=8080

7.2 TLS加密配置

1. 生成证书：

   openssl req -x509 -newkey rsa:4096 -keyout key.pem -out cert.pem -days 365

2. 配置Broker：

   tlsEnabled=true
   tlsCertificateFilePath=/pulsar/conf/cert.pem
   tlsKeyFilePath=/pulsar/conf/key.pem
   tlsAllowInsecureConnection=false

7.3 与K8s集成准备

对于后续容器化迁移，建议：

1. 使用StatefulSet管理BookKeeper
2. 配置PVC持久化存储
3. 实现Liveness/Readiness探针

八、总结与最佳实践

1. 资源分配原则：

   • 开发环境：1核2GB
   • 测试环境：2核4GB
   • 生产环境：4核8GB+（根据负载调整）

2. 数据备份策略：

   # 定期备份元数据
   docker exec pulsar-standalone bin/pulsar zk-cli get /metadata 
   # 备份ZooKeeper数据
   docker cp pulsar-standalone:/pulsar/data/zookeeper ./backup

3. 升级路径：

   # 停止旧容器
   docker-compose down
   # 拉取新镜像
   docker pull apachepulsar/pulsar-all:2.12.0
   # 启动新版本
   docker-compose up -d

通过以上系统化的部署方案，开发者可在30分钟内完成Pulsar单机环境的Docker化部署，并具备向生产环境扩展的基础能力。建议定期关注Apache Pulsar官方文档更新，及时应用安全补丁和性能优化。