公司动态 · 行业动态 · 技术交流

新闻中心

详解Hadoop配置文件

发布时间:2019-05-06 浏览:2651次

1. hadoop-env.sh

在运行Hadoop的脚本中使用的环境变量。只需要export JAVA_HOME即可,JAVA_HOME的目录因人而异。

export JAVA_HOME=/home/project/jdk1.8.0_181


2. core-site.xml

Hadoop的核心配置,例如HDFS和MapReduce中很普遍的I/O设置。需要配置fs.default.name,指定namenode的IP地址和端口。配置hadoop.tmp.dir,hadoop.tmp.dir是Hadoop文件系统以来的基本配置,很多配置路径都依赖他,他的默认位置每次系统重启都会更新,所以要指向到一个持久化目录中。

<configuration>

<property>

        <name>hadoop.tmp.dir</name>

        <value>/home/project/hadoop-2.9.1/tmp</value>

        <description>Abase for other temporary directories.</description>

    </property>

    <property>

        <name>fs.default.name</name>

        <value>hdfs://ccrfox140:9000</value>

        <final>true</final>

    </property>

</configuration>


3. hdfs-site.xml

HDFS后台设置的配置:名称节点,辅助名称节点和数据节点。需要配置dfs.data.dir,指定数据节点存放集群数据的路径,配置dfs.replication,指定数据的副本数量,配置dfs.name.dir,指定名称节点元数据存储目录。

<configuration>

<property>

        <name>dfs.replication</name>

        <value>3</value>

    </property>

    <property>

        <name>dfs.name.dir</name>

        <value>/home/project/hadoop-2.9.1/name</value>

    </property>

    <property>

        <name>dfs.data.dir</name>

        <value>/home/project/hadoop-2.9.1/data</value>

    </property>

</configuration>


4. mapred-site.xml

MapReduce后台设置的配置(jobtracker和tasktracker)MapReduce后台设置的配置(jobtracker和tasktracker)。配置mapred.job.tracker,指定作业工作器的位置,配置为master:9001

<configuration>

 <property>

      <name>mapred.job.tracker</name>

      <value>http://ccrfox140:9001</value>

  </property>

</configuration>


5. masters

记录运行辅助名称节点的机器,一行一个


6. slaves

记录运行数据节点的机器,一行一个记录运行数据节点的机器,一行一个