Nginx animation cmake request vue网站 vue数据绑定 matlab图像识别 kali重启网卡 mysql删除存储过程 python迭代 python库 python自学入门 python传参 java实现接口 java注释规范 java查看变量类型 javascript案例 allowoverride 黑帮之地修改器 java疯狂讲义 php取整函数 cms教程 英雄联盟体验服转换器 橄榄山快模 数独软件 工程html加密 js文件上传 mac版matlab 数据库编程软件 黑域怎么用 lol世界第一 刷新当前页面 top命令详解 mysql索引面试题 下拉框默认选中 远程桌面管理工具 xfce4 迅捷pdf转换器官网 取小数点后两位函数 破天螺旋
当前位置: 首页 > 学习教程  > 编程语言

【大数据】Hadoop安装(VMware + 进入BIOS开启Intel VT-x + Ubuntu16.04 + Hadoop2.7.7 + jdk1.8.0)

2020/9/19 16:15:50 文章标签:

环境:VMware+Ubuntu16.04+Hadoop2.7.7+jdk1.8.0

1、超稳进入BIOS,开启虚拟技术,Intel VT-x

左下角右键,设置,更新和安全,恢复,立即重新启动。疑难解答,高级选项,UEFI固件设置,重启。即可进入BIOS

选择configuration Intel virtual technology 选择Enable。

2、新建一个用户

sudo useradd –m hadoop –s /bin/bash

sudo passwd hadoop

sudo adduser hadoop sudo

在该用户下进行Hadoop安装

3、新建java环境 

sudo apt-get install openjdk-8-jre openjdk-8-jdk

该种方法安装的java无需添加路径

检测Java是否安装好:java -version

如果要添加 gedit ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64 export PATH=$JAVA_HOME/bin:$PATH

4、下载Hadoop

下载Hadoop用镜像,wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local    #解压到/usr/local中

cd /usr/local/ $sudo mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoop

sudo chown -R hadoop:hadoop ./hadoop       # 修改文件权限

检验是否安装好Hadoop

cd /usr/local/hadoop

./bin/hadoop version

5、配置Hadoop

修改配置文件:core-site.xml,hdfs-site.xml,mapred-site.xml

初始化文件系统hadoop namenode -format

启动所有进程start-all.sh

访问web界面,查看Hadoop信息

运行实例

-----------------------------------------------------

core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

 hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
       <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

 mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

验证Hadoop是否安装好:hadoop version

初始化HDFS系统:hadoop namenode -format

进入/usr/local/hadoop 

sbin/start-all.sh

输入jps

此时hadoop安装成功

-----------

在浏览器中输入:http://localhost:50070,http://localhost:8088

 

 


本文链接: http://www.dtmao.cc/news_show_200372.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?