Hadoop单机部署全攻略：从环境准备到实践验证

一、引言：为何选择Hadoop单机部署？

Hadoop作为分布式计算的标杆框架，其核心设计初衷是处理海量数据。但在开发初期或教学场景中，Hadoop单机部署（即单节点伪分布式模式）具有显著优势：无需搭建复杂集群即可快速验证功能，降低硬件成本与运维复杂度。本文将系统梳理单机部署的关键步骤与注意事项，帮助开发者高效完成环境搭建。

二、环境准备：硬件与软件要求

1. 硬件配置建议

内存：建议8GB以上（HDFS与YARN启动后占用约3GB内存）。
磁盘空间：至少20GB可用空间（存放日志与临时数据）。
操作系统：Linux（推荐Ubuntu 20.04/CentOS 7）或Windows 10+WSL2。

2. 软件依赖清单

Java环境：Hadoop依赖Java运行，需安装JDK 1.8或更高版本。

# Ubuntu示例：安装OpenJDK
sudo apt update
sudo apt install openjdk-8-jdk
java -version  # 验证安装

SSH服务：Hadoop节点间通信依赖SSH，需确保本地SSH服务已启动。
```
sudo service ssh start  # Ubuntu
ssh localhost  # 测试连接
```
Hadoop版本选择：推荐Hadoop 3.x系列（如3.3.4），兼容性更优。

三、Hadoop单机部署详细步骤

1. 下载与解压

从Apache官网下载Hadoop二进制包（如hadoop-3.3.4.tar.gz），解压至指定目录：

tar -xzvf hadoop-3.3.4.tar.gz -C /opt/
cd /opt/hadoop-3.3.4

2. 配置环境变量

编辑~/.bashrc文件，添加Hadoop路径：

export HADOOP_HOME=/opt/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source ~/.bashrc  # 立即生效

3. 核心配置文件修改

（1）`hadoop-env.sh`：指定Java路径

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64  # 根据实际路径调整

（2）`core-site.xml`：定义HDFS与YARN的默认访问地址

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

（3）`hdfs-site.xml`：配置HDFS存储路径

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>  # 单机模式副本数为1
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop-3.3.4/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop-3.3.4/data/datanode</value>
  </property>
</configuration>

（4）`mapred-site.xml`：指定MapReduce框架

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

（5）`yarn-site.xml`：配置YARN资源管理

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

4. 格式化HDFS并启动服务

hdfs namenode -format  # 首次启动前必须格式化
start-dfs.sh          # 启动HDFS
start-yarn.sh         # 启动YARN
jps                   # 验证进程：应包含NameNode、DataNode、ResourceManager等

四、验证部署：基础操作示例

1. 创建HDFS目录并上传文件

hdfs dfs -mkdir /input
hdfs dfs -put /etc/passwd /input  # 上传本地文件至HDFS
hdfs dfs -ls /input               # 验证文件是否存在

2. 运行MapReduce示例程序

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar \
  wordcount /input/passwd /output  # 统计文件词频
hdfs dfs -cat /output/part-r-00000  # 查看结果

五、常见问题与解决方案

1. 端口冲突

现象：启动时报Address already in use错误。
解决：检查core-site.xml中的端口（如9000）是否被占用，修改后重启服务。

2. 权限不足

现象：Permission denied错误。
解决：
- 确保运行用户对Hadoop数据目录有读写权限。
- 临时关闭SELinux（仅测试环境）：
```
sudo setenforce 0
```

3. 内存不足

现象：OutOfMemoryError错误。

解决：调整mapred-site.xml中的内存参数：

<property>
  <name>mapreduce.map.memory.mb</name>
  <value>1024</value>
</property>

六、优化建议与扩展场景

1. 日志管理与分析

配置log4j.properties文件，将日志输出至单独目录，便于排查问题。
使用grep或ELK工具分析日志，定位性能瓶颈。

2. 集成其他组件

Hive：在单机Hadoop上安装Hive，实现SQL查询能力。
Spark：通过spark-env.sh配置Hadoop路径，实现Spark on YARN。

3. 性能调优

调整hdfs-site.xml中的块大小（dfs.blocksize）以适应不同文件类型。
优化YARN资源分配（如yarn.scheduler.maximum-allocation-mb）。

七、总结：单机部署的价值与局限

Hadoop单机部署通过伪分布式模式，为开发者提供了低成本的验证环境，尤其适合以下场景：

学习Hadoop核心机制（如HDFS读写流程、MapReduce执行逻辑）。
开发阶段的功能测试与单元调试。
小规模数据处理（如日志分析、数据清洗）。

然而，其局限性也需明确：

无法模拟真实集群的负载均衡与容错能力。
性能受限于单机硬件资源。

未来可逐步向多节点集群过渡，通过slaves文件配置与ssh-keygen实现无密码登录，构建完整的分布式环境。

通过本文的指导，开发者可快速完成Hadoop单机部署，为后续的分布式开发奠定坚实基础。

Hadoop单机部署全攻略：从环境配置到实践验证