一、引言：为何选择Spark单机部署？

Apache Spark作为分布式计算框架，以其高效的内存计算能力和丰富的API生态，成为大数据处理领域的核心工具。对于开发者而言，单机部署Spark不仅可用于本地开发测试，还能快速验证算法逻辑，避免集群环境下的复杂配置问题。本文将围绕单机部署的完整流程展开，从环境准备到应用实践，为读者提供可落地的技术指南。

二、环境准备：基础条件与依赖检查

1. 硬件与系统要求

Spark单机模式对硬件要求较低，但需确保系统资源满足基本运行需求：

CPU：双核及以上（推荐四核）
内存：8GB以上（复杂任务建议16GB）
磁盘：20GB以上可用空间（用于存储日志和临时数据）
操作系统：Linux（Ubuntu/CentOS）、macOS或Windows 10+（需WSL2支持）

2. Java环境配置

Spark依赖Java运行时环境（JRE），需安装JDK 8或11（Spark 3.x推荐JDK 11）：

# Ubuntu示例：安装OpenJDK 11
sudo apt update
sudo apt install openjdk-11-jdk
# 验证安装
java -version

3. Scala环境（可选）

虽然Spark支持多语言开发，但Scala是原生语言。若需开发Scala应用，需安装Scala 2.12或2.13：

# 使用SDKMAN安装Scala
sdk install scala 2.13.10
scala -version

三、Spark安装与配置

1. 下载预编译包

从Apache Spark官网下载对应版本的预编译包（如spark-3.5.0-bin-hadoop3），解压至指定目录：

tar -xzf spark-3.5.0-bin-hadoop3.tgz -C /opt/
cd /opt/spark-3.5.0-bin-hadoop3

2. 配置环境变量

编辑~/.bashrc或~/.zshrc，添加以下内容：

export SPARK_HOME=/opt/spark-3.5.0-bin-hadoop3
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

执行source ~/.bashrc使配置生效。

3. 核心配置文件调整

修改conf/spark-defaults.conf，设置默认内存和日志级别：

spark.master local[4]          # 使用4个本地线程
spark.driver.memory 2g         # 驱动进程内存
spark.executor.memory 2g       # 执行器内存
spark.eventLog.enabled true    # 启用事件日志
spark.eventLog.dir file:///tmp/spark-events

四、运行与验证

1. 启动Spark Shell

直接运行spark-shell进入交互式环境：

spark-shell
# 输出应包含Spark版本和本地模式信息

2. 提交本地应用

通过spark-submit提交一个简单应用（如conf/examples/src/main/python/pi.py）：

spark-submit --class org.apache.spark.examples.SparkPi \
    --master local[4] \
    $SPARK_HOME/examples/jars/spark-examples_*.jar 100

预期输出类似：

Pi is roughly 3.141592653589793

3. Web UI访问

启动Spark后，访问http://localhost:4040可查看任务执行详情，包括DAG可视化、存储使用情况等。

五、常见问题与优化

1. 内存不足错误

若遇到OutOfMemoryError，需调整内存配置：

减少spark.driver.memory或spark.executor.memory
增加系统交换空间（Swap）

2. 端口冲突

默认Web UI端口4040可能被占用，可通过spark.ui.port指定其他端口：

spark-shell --conf spark.ui.port=4041

3. 数据本地化优化

对于本地文件系统操作，建议将数据存放在/tmp目录以减少I/O开销：

val data = spark.read.textFile("file:///tmp/input.txt")

六、进阶实践：结合本地数据源

1. 读取CSV文件

val df = spark.read
  .option("header", "true")
  .csv("file:///tmp/sample.csv")
df.show()

2. 写入本地Parquet文件

df.write.parquet("file:///tmp/output.parquet")

3. 使用Delta Lake（需额外依赖）

// 添加Delta Lake依赖（通过--jars或spark-packages.org）
spark-shell --packages io.delta:delta-core_2.12:2.4.0
// 创建Delta表
df.write.format("delta").save("file:///tmp/delta-table")

七、总结与建议

轻量级开发：单机模式适合算法验证和小规模数据处理，无需集群管理开销。
资源监控：通过htop或nvidia-smi（GPU环境）实时监控资源使用。
版本兼容性：确保Hadoop、Scala和Java版本与Spark兼容（参考官方文档）。
扩展性测试：本地模式验证通过后，可无缝迁移至集群模式（修改--master参数为yarn或spark://host:port）。

通过本文的步骤，开发者可在30分钟内完成Spark单机环境的搭建，并快速投入开发工作。对于企业用户，建议将此模式用于CI/CD流水线中的单元测试环节，提升迭代效率。

Spark单机部署全攻略：从环境配置到应用实践