发布时间:2019-05-06 浏览:2651次
1. hadoop-env.sh
在运行Hadoop的脚本中使用的环境变量。只需要export JAVA_HOME即可,JAVA_HOME的目录因人而异。
export JAVA_HOME=/home/project/jdk1.8.0_181
2. core-site.xml
Hadoop的核心配置,例如HDFS和MapReduce中很普遍的I/O设置。需要配置fs.default.name,指定namenode的IP地址和端口。配置hadoop.tmp.dir,hadoop.tmp.dir是Hadoop文件系统以来的基本配置,很多配置路径都依赖他,他的默认位置每次系统重启都会更新,所以要指向到一个持久化目录中。
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/project/hadoop-2.9.1/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://ccrfox140:9000</value>
<final>true</final>
</property>
</configuration>
3. hdfs-site.xml
HDFS后台设置的配置:名称节点,辅助名称节点和数据节点。需要配置dfs.data.dir,指定数据节点存放集群数据的路径,配置dfs.replication,指定数据的副本数量,配置dfs.name.dir,指定名称节点元数据存储目录。
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/project/hadoop-2.9.1/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/project/hadoop-2.9.1/data</value>
</property>
</configuration>
4. mapred-site.xml
MapReduce后台设置的配置(jobtracker和tasktracker)MapReduce后台设置的配置(jobtracker和tasktracker)。配置mapred.job.tracker,指定作业工作器的位置,配置为master:9001
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://ccrfox140:9001</value>
</property>
</configuration>
5. masters
记录运行辅助名称节点的机器,一行一个
6. slaves
记录运行数据节点的机器,一行一个记录运行数据节点的机器,一行一个