Hadoop在Ubuntu上的网络配置技巧

以下是Hadoop在Ubuntu上的网络配置技巧：

1. 配置网络接口
   • 编辑Netplan配置文件（如/etc/netplan/01-netcfg.yaml），设置静态IP、网关和DNS：

     network:  
       version: 2  
       renderer: networkd  
       ethernets:  
         ens33:  
           dhcp4: no  
           addresses: [192.168.1.10/24]  
           gateway4: 192.168.1.1  
           nameservers:  
             addresses: [8.8.8.8, 8.8.4.4]  
     

     应用配置：sudo netplan apply。

2. 配置主机名解析
   • 编辑/etc/hosts文件，添加节点IP与主机名映射（如192.168.1.10 master），确保集群节点间可通过主机名访问。
3. 配置Hadoop核心参数
   • core-site.xml：设置HDFS默认文件系统，如fs.defaultFS=hdfs://master:9000。
   • hdfs-site.xml：配置数据存储目录、副本数等，如dfs.replication=3。
   • yarn-site.xml：指定ResourceManager主机名，如yarn.resourcemanager.hostname=master。
4. 启用SSH免密登录
   • 生成密钥对：ssh-keygen，将公钥复制到其他节点：ssh-copy-id user@slave-node，确保节点间无密码通信。
5. 开放防火墙端口
   • 开放HDFS（如50070、9000）、YARN（如8088）等必要端口：
     sudo ufw allow 50070/tcp。
6. 验证网络连通性
   • 使用ping测试节点间连通性，hdfs dfs -ls /验证HDFS服务是否正常。

参考来源：