hdfs配置centos环境怎么设置
在CentOS上配置HDFS,可按以下步骤进行:
系统环境准备
- 安装Java:使用命令
sudo yum install -y java-1.8.0-openjdk-devel
安装OpenJDK 8。 - 安装SSH:执行
sudo yum install -y openssh-server openssh-client
安装SSH,然后启动服务并设置开机自启,使用ssh-keygen -t rsa -P ""
生成密钥,再通过ssh-copy-id
命令复制公钥到其他节点,实现免密登录。
下载并解压Hadoop
从Apache Hadoop官方网站下载安装包,如wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
,然后解压到指定目录,如/usr/local/hadoop
,使用命令tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/
。
配置环境变量
编辑/etc/profile.d/hadoop.sh
文件,添加export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
、export HADOOP_HOME=/usr/local/hadoop-3.3.1
和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
,然后执行source /etc/profile.d/hadoop.sh
使配置生效。
配置Hadoop核心文件
- core-site.xml:在
$HADOOP_HOME/etc/hadoop
目录下,设置fs.defaultFS
为hdfs://localhost:9000
,hadoop.tmp.dir
为数据临时存储目录,如/usr/local/hadoop/tmp
。 - hdfs-site.xml:配置
dfs.replication
为副本数,通常设为3,设置dfs.namenode.name.dir
和dfs.datanode.data.dir
分别为NameNode和DataNode的数据存储路径。
格式化NameNode
在NameNode节点上执行hdfs namenode -format
,此操作会清空NameNode数据,仅在首次安装时执行。
启动HDFS
在NameNode节点上运行start-dfs.sh
启动HDFS服务。
验证配置
使用hdfs dfsadmin -report
查看HDFS状态,也可通过浏览器访问http://localhost:9870
查看HDFS文件系统状态页面。
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权请联系我们,一经查实立即删除!