Hadoop集群搭建：虚拟机环境下详细配置指南

作为IT技术专家，配置Hadoop集群是一项关键任务。以下是详细步骤，帮助您顺利配置Hadoop集群的主节点。
首先，我们需要修改hadoop-env.sh文件。这个文件位于主节点hadoop01的解压包etc/hadoop/目录下。使用vi指令打开hadoop-env.sh文件，然后找到JAVA_HOME参数的位置。在这里，我们需要将JAVA_HOME参数修改为正确的路径，例如：
```bash export JAVA_HOME=/export/servers/jdk ```
接下来，我们来修改core-site.xml文件。这是Hadoop的核心配置文件，用于设置HDFS的地址、端口和临时文件目录。同样使用vi指令打开core-site.xml文件，并配置以下内容：
```xml fs.defaultFS hadoop.tmp.dir /export/servers/hadoop-2.9.1/tmp ```
然后，我们需要修改hdfs-site.xml文件。这个文件主要设置namenode和datanode进程。使用vi指令打开hdfs-site.xml文件，并添加以下配置：
```xml dfs.replication 3 dfs.namenode.secondary.HTTP-address ```
接下来是修改mapred-site.xml文件。这是MapReduce的核心配置文件，用于指定MapReduce运行时的框架。首先，通过cp指令将mapred-site.xml.template复制为mapred-site.xml，然后使用vi指令打开并添加以下配置：
```xml mapreduce.framework.name ```
紧接着，我们需要编写yarn-site.xml文件。这是YARN框架的核心配置文件，用于指定YARN集群管理者。使用vi指令打开yarn-site.xml文件，并添加以下配置：
```xml yarn.resourcemanager.hostname yarn.nodemanager.aux-services mapreduce_shuffle ```
现在，我们来修改slaves文件。这个文件用于记录Hadoop集群所有从节点的主机名。使用vi指令打开slaves文件，并添加以下内容：
``` hadoop01 hadoop02 hadoop03 ```
配置文件修改完成后，我们需要将这些文件发送到各个子节点。使用scp命令可以实现这一点：
```bash scp /etc/profile hadoop02:/etc/profile scp /etc/profile hadoop03:/etc/profile scp -r /export/hadoop hadoop02:/ scp -r /export/hadoop hadoop03:/ ```
配置文件发送完毕后，需要在各个子节点执行以下命令来更新环境变量：
```bash source /etc/profile ```
以上步骤完成后，您的Hadoop集群主节点配置就完成了。通过这些详细的步骤，您可以确保Hadoop集群的正常运行，从而有效地处理大数据。

一、配置Hadoop集群主节点

修改hadoop-env.sh文件

先进入到主节点hadoop01解压包etc/hadoop/目录，使用vihadoop-env.sh指令打开hadoop-env.sh文件，找到JAVA_HOME参数位置，进入如下修改：

exportJAVA_HOME=/export/servers/jdk

修改core-site.xml文件

该文件是Hadoop核心配置文件，其目的是配置HDFS地址、端口号，以及临时文件目录。使用vicore-site.xml打开文件，配置内容如下

《configuration》

《property》

《name》fs.defaultFS《/name》《value》hdfs://hadoop01:9000《/value》

《/property》《property》《name》hadoop.tmp.dir《/name》《value》/export/servers/hadoop-2.9.1/tmp《/value》《/property》《/configuration》

修改hdfs-site.xml文件

主要是设置namenode和datanode进程，使用vihdfs-site.xml指令打开该配置文件，配置内容如下：

《configuration》《property》《name》dfs.replication《/name》《value》3《/value》《/property》《property》《name》dfs.namenode.secondary.http-address《/name》《value》hadoop02:50090《/value》《/property》《/configuration》

修改mapred-site.xml文件

该文件是MapReduce的核心配置文件，用于指定MapReduce运行时的框架，需要先通过cpmapred-site.xml.templatemapred-site.xml命令将文件复制并重命名为mapred-site.xml。接着，使用vimapred-site.xml指令打开mapred-site.xml文件进行修改，添加如下配置内容：

《configuration》《property》《name》mapreduce.framework.name《/name》《value》yarn《/value》《/property》《/configuration》

编写yarn-site.xml文件

本文件是YARN框架的核心配置文件，需要指定YARN集群管理者，使用viyarn-site.xml指令打开该配置文件进行修改，添加如下配置内容：

《configuration》《property》《name》yarn.resourcemanager.hostname《/name》《value》hadoop01《/value》《/property》《property》《name》yarn.nodemanager.aux-services《/name》《value》mapreduce_shuffle《/value》《/property》《/configuration》

修改slaves文件

该文件用于记录Hadoop集群所有从节点的主机名使用vislaves指令打开该配置文件进行修改，添加如下配置内容：

hadoop01hadoop02hadoop03

将配置文件发往各子节点，用scp命令如下：

scp/etc/profilehadoop02:/etc/profilescp/etc/profilehadoop03:/etc/profilescp-r/export/hadoop02:/scp-r/export/hadoop03:/

发送完配置文件后，要去相应的子节点进行更新，指令如下：

source/etc/profile