XShell SpringApplication 物联网项目 程序栈 DHCP algorithm winforms networking text drupal nlp smtp Fries Ractivejs Uploadify ACE vue网站 android实战项目 jquery的each遍历方法 linux查看mysql进程 matlab中log函数 oracle自增长 ps字体旋转角度 idea开发python python数据库 pythonapi python自学 python中文 python怎么调用函数 python中的map函数 python正则表达式语法 python编程工具 java基础入门 java入门新手教程 java集合 java抽象方法 java路径 java的框架 linux教学 远程登录linux
当前位置: 首页 > 学习教程  > 编程语言

Hadoop伪分布式安装

2020/8/11 20:42:06 文章标签:

Hadoop伪分布式安装

一.配置虚拟机静态IP
  1. 安装好虚拟后在菜单栏选择编辑→ 虚拟网络编辑器,打开虚拟网络编辑器对话框,选择Vmnet8 Net网络连接方式,随意设置子网IP,点击NAT设置页面,查看子网掩码和网关,后面修改静态IP会用到。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  2. 检查宿主机VM8 网卡设置,打开网络和共享中心→ 更改适配器设置→,在VMware Network Adapter VMnet8上单击右键,选择属性按钮打开属性对话框。
    在这里插入图片描述
    在这里插入图片描述

3.虚拟机配置

vim /etc/sysconfig/network-scripts/ifcfg-ens33添加如下配置

BOOTPROTO=static #改为static
IPADDR=192.168.6.3~253 #自己设的IP
NETMASK=255.255.255.0
GATEWAY=192.168.6.2  
ONBOOT=yes            #设置开机启动

4.免密登陆与关闭防火墙

免密登陆

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld
二.安装Hadoop
1.将下载的Hadoop压缩包解压到 /usr/local 目录下(我用的是root用户)
tar -zxvf hadoop-3.2.0.tar.gz -C /usr/local/
2.重命名(不改也行)
cd /usr/local
mv hadoop-3.2.0 hadoop
3.配置环境变量
vim ~/.bashrc
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:${JAVA_HOME}/bin
export CLASS_PATH=.:${JAVA_HOME}/lib

使环境生效:

source ~/.bashrc
4.测试是否安装成功

在这里插入图片描述

三.配置伪分布式集群文件

所有配置文件都在这/usr/local/hadoop/etc/hadoop

1. hadoop-env.sh 文件中添加:
export JAVA_HOME=/usr/local/jdk1.8 #安装jdk的路径
2.配置:core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.10.15:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>     
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
</property>
3.配置:hdfs-site.xml
    <property>
        <name>dfs.namenode.http-address</name>
        <value>0.0.0.0:50070</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>

    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
4.配置yarn-site.xml
<!-- Reducer获取数据的方式 -->
<property>
 	<name>yarn.nodemanager.aux-services</name>
 	<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>hadoop01</value>
</property>
5.配置mapred-site.xml(没有的话,对mapred-site.xml.template重新命名)
<!-- 指定MR运行在YARN上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
6.格式化NameNode
hdfs namenode -format

在这里插入图片描述

7.启动报错如下

在这里插入图片描述

1.在start-dfs.sh和stop-dfs.sh的顶部添加如下代码

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

2.在start-yarn.sh和stop-yarn.sh顶部添加如下代码

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

3.在次启动

在这里插入图片描述


2.在start-yarn.sh和stop-yarn.sh顶部添加如下代码

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root


3.在次启动

![在这里插入图片描述](https://img-blog.csdnimg.cn/20200811203555547.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0pva2VyX0ppYW5nMw==,size_16,color_FFFFFF,t_70)


本文链接: http://www.dtmao.cc/news_show_100402.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?