linux hadoop安装

765
2023/10/30 15:12:49
栏目: 智能运维
开发者测试专用服务器限时活动,0元免费领,库存有限,领完即止! 点击查看>>

安装Hadoop在Linux上需要执行以下步骤:

  1. 下载Hadoop软件包:
  • 前往Apache Hadoop官方网站(https://hadoop.apache.org/)下载最新的Hadoop版本。

  • 或者使用以下命令从终端下载Hadoop软件包:

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
  1. 解压Hadoop软件包:
tar -xzvf hadoop-3.3.1.tar.gz
  1. 配置Hadoop环境变量:
  • 编辑~/.bashrc文件:
vim ~/.bashrc
  • 添加以下内容:
# Hadoop Configuration
export HADOOP_HOME=/path/to/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • 保存并退出文件。

  • 执行以下命令以使环境变量生效:

source ~/.bashrc
  1. 配置Hadoop:
  • 进入Hadoop的配置目录:
cd /path/to/hadoop-3.3.1/etc/hadoop
  • 编辑hadoop-env.sh文件并修改Java路径:
vim hadoop-env.sh

将以下行修改为正确的Java路径:

export JAVA_HOME=/path/to/java
  • 保存并退出文件。
  1. 配置Hadoop集群:
  • 编辑core-site.xml文件并添加以下配置:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
  • 编辑hdfs-site.xml文件并添加以下配置:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
  1. 格式化Hadoop文件系统:
hdfs namenode -format
  1. 启动Hadoop集群:
start-dfs.sh

现在,您已经在Linux上成功安装和启动了Hadoop。您可以通过访问http://localhost:9870来查看Hadoop集群的Web界面。

辰迅云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>

推荐阅读: docker hadoop集群搭建的步骤是什么