怎样修改Ubuntu HDFS配置

修改Ubuntu HDFS配置主要是编辑相关配置文件，以下是具体步骤和常用配置项：

1. 安装Java和Hadoop：先安装JDK，再从官网下载Hadoop并解压到指定目录，如/usr/local/。
2. 配置环境变量：编辑~/.bashrc或/etc/profile，添加HADOOP_HOME和PATH，如export HADOOP_HOME=/usr/local/hadoop，export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin，然后执行source命令使配置生效。
3. 修改核心配置文件：
   • core-site.xml：配置默认文件系统，如fs.defaultFShdfs://localhost:9000。
   • hdfs-site.xml：可设置副本数dfs.replication、NameNode和DataNode存储目录dfs.namenode.name.dir与dfs.datanode.data.dir、块大小dfs.blocksize等，例如dfs.replication3。
   • mapred-site.xml：配置MapReduce运行框架等，如mapreduce.framework.nameyarn。
   • yarn-site.xml：配置YARN资源管理相关参数，如yarn.resourcemanager.addressresourcemanager:8032。
4. 格式化NameNode：在首次启动前，执行hdfs namenode -format。
5. 启动HDFS集群：使用start-dfs.sh和start-yarn.sh命令启动服务。

修改配置后，可通过hdfs dfsadmin -report查看集群状态，访问http://localhost:50070（NameNode Web界面）验证配置是否正确。