一、Hadoop单机部署的适用场景与优势

Hadoop作为分布式计算框架，其单机模式并非生产环境推荐方案，但在开发测试、教学演示、算法验证等场景中具有显著价值。单机部署通过伪分布式（Pseudo-Distributed）模式模拟分布式环境，开发者可在单台机器上完整测试HDFS、YARN、MapReduce等核心组件的功能，而无需搭建真实集群。这种模式尤其适合以下场景：

本地开发调试：开发者可在个人电脑上快速验证代码逻辑，避免因集群环境配置复杂导致的效率问题。例如，测试MapReduce作业时，单机模式能快速反馈结果，缩短开发周期。
教学与演示：在课程或技术分享中，单机部署可直观展示Hadoop的核心机制，如HDFS的文件存储、YARN的资源调度等，降低理解门槛。
算法原型验证：数据科学家或机器学习工程师可在单机环境中测试基于Hadoop的算法原型，评估其可行性后再扩展至集群。

单机部署的核心优势在于轻量化和可控性。相比集群部署，它无需协调多台机器的网络、存储和计算资源，配置过程更简单，故障排查更直接。同时，开发者可通过调整配置参数（如内存分配、日志级别）精准控制环境行为，为后续集群部署积累经验。

二、环境准备与依赖安装

1. 操作系统与Java环境

Hadoop基于Java开发，因此需提前安装JDK。推荐使用OpenJDK 8或Oracle JDK 8，版本过高可能导致兼容性问题。以Ubuntu为例，安装步骤如下：

# 安装OpenJDK 8
sudo apt update
sudo apt install openjdk-8-jdk
# 验证安装
java -version

输出应显示类似openjdk version "1.8.0_312"的信息。

2. SSH服务配置

Hadoop依赖SSH实现节点间通信，单机模式下需配置本地SSH免密登录。步骤如下：

# 生成SSH密钥对
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# 将公钥添加到授权列表
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
# 测试SSH连接
ssh localhost

首次连接需输入yes确认，后续应直接登录。

3. Hadoop版本选择

推荐使用Hadoop 3.x系列（如3.3.4），其性能优化和功能增强显著。从Apache官网下载二进制包：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/
cd /usr/local/
sudo mv hadoop-3.3.4 hadoop
sudo chown -R $USER:$USER hadoop

三、核心配置文件详解

1. `hadoop-env.sh`：环境变量设置

编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh，设置JAVA_HOME：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

此路径需根据实际JDK安装位置调整。

2. `core-site.xml`：HDFS与YARN基础配置

配置HDFS的默认名称节点和临时目录：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp/hadoop</value>
    </property>
</configuration>

hadoop.tmp.dir需确保目录存在且可写。

3. `hdfs-site.xml`：HDFS存储参数

设置副本数为1（单机模式无需冗余）：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

4. `mapred-site.xml`：MapReduce运行模式

指定YARN为调度器：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5. `yarn-site.xml`：YARN资源管理

配置ResourceManager地址：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

四、启动与验证流程

1. 格式化HDFS

首次启动前需格式化名称节点：

hdfs namenode -format

输出应显示Storage directory ... has been successfully formatted。

2. 启动HDFS与YARN

# 启动HDFS
/usr/local/hadoop/sbin/start-dfs.sh
# 启动YARN
/usr/local/hadoop/sbin/start-yarn.sh

通过jps命令验证进程：

12345 NameNode
12346 DataNode
12347 ResourceManager
12348 NodeManager
12349 SecondaryNameNode

3. 功能测试

测试HDFS文件操作

# 创建目录
hdfs dfs -mkdir /test
# 上传文件
echo "Hello Hadoop" > test.txt
hdfs dfs -put test.txt /test
# 查看文件
hdfs dfs -ls /test
hdfs dfs -cat /test/test.txt

运行MapReduce示例

# 运行圆周率计算示例
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 2 5

输出应显示近似值（如3.14）。

五、常见问题与解决方案

1. 端口冲突

若9000（HDFS）、8088（YARN）等端口被占用，需修改配置文件中的端口号，或终止占用进程：

netstat -tulnp | grep 9000
kill -9 <PID>

2. 权限不足

若/tmp/hadoop目录权限错误，需手动创建并授权：

sudo mkdir -p /tmp/hadoop
sudo chown -R $USER:$USER /tmp/hadoop

3. 内存不足

默认配置可能占用较多内存，可通过mapred-site.xml调整：

<property>
    <name>mapreduce.map.memory.mb</name>
    <value>512</value>
</property>
<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>1024</value>
</property>

4. 日志分析

启动失败时，检查日志文件（/usr/local/hadoop/logs/）中的错误信息。例如，若日志显示Connection refused，可能是SSH或防火墙问题。

六、进阶优化建议

配置环境变量：将Hadoop的bin目录添加到PATH，方便直接调用命令。
使用伪分布式模式：若需模拟多节点，可修改slaves文件并配置多个DataNode。
集成HBase/Hive：在单机Hadoop上安装HBase或Hive，构建更完整的测试环境。

通过以上步骤，开发者可在单台机器上高效完成Hadoop的部署与测试，为后续集群部署奠定坚实基础。

Hadoop单机部署全攻略：从零搭建本地开发环境