微信小程序 CANopen shell pdf iis uiwebview vue网站模板 网站后台管理模板 java并发编程视频 纯html网页模板 jq去空格 js事件绑定 录音棚设备一套多少钱 linux撤销 python数据类型转换 idea格式化代码设置 mysql 导入数据 配置python环境 python建站 java时间类 java多线程教程 图吧导航怎么样 ad19 地球末日攻略 超级力量2修改 babelrc mp4剪切合并大师 pro换肤 虚拟声卡驱动 方正徐静蕾字体 影音先锋下载速度慢 videoview 大势至usb控制系统 伤害显示宏 getdata软件 关闭redis 英语口语学习软件 php递归函数 qq网盘在哪里 wps生成目录
当前位置: 首页 > 学习教程  > 编程语言

大数据前置环境安装

2020/10/16 18:17:59 文章标签:

linux版本 linux统一使用centos centos统一使用centos7.6 64位版本 种子文件下载地址:http://mirrors.aliyun.com/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.torrent 使用VmWare来安装linux软件 如果电脑配置不高,可以把打印机等虚拟功…

linux版本

linux统一使用centos

centos统一使用centos7.6 64位版本

种子文件下载地址:http://mirrors.aliyun.com/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.torrent

 

使用VmWare来安装linux软件

如果电脑配置不高,可以把打印机等虚拟功能关闭

请百度下如何VM装linux,装完一台cent os虚拟机,请看下面步骤(先把一台虚拟机环境配置好,然后可以克隆)

 

三台linux服务器环境准备

机器IP设置

机器修改ip地址:

vi /etc/sysconfig/network-scripts/ifcfg-ens33 

BOOTPROTO=static  #改成静态
ONBOOT=yes
IPADDR=192.168.52.100
NETMASK=255.255.255.0
GATEWAY=192.168.52.2
DNS1=8.8.8.8

使用service network restart命令,重启网络服务。重启后,ping  www.baidu.com看能ping通嘛。ping不通的话,可能是在VM的编辑->虚拟网络编辑器里面设置下网关。刚进去需要点击更配设置,然后才会出现以下图片,选中NAT模式,点击NAT设置,把网关修改成上述的192.168.52.2,然后确定并应用。然后再次ping www.baidu.com,就可以ping通外网。

准备三台linux机器,IP地址分别设置成为

第一台机器IP地址:192.168.52.100

第二台机器IP地址:192.168.52.110

第三台机器IP地址:192.168.52.120

三台机器关闭防火墙

机器在root用户下执行以下命令关闭防火墙

systemctl stop firewalld
systemctl disable firewalld   #防止开机自启

三台机器关闭selinux

机器在root用户下执行以下命令关闭selinux

机器执行以下命令,关闭selinux

vim /etc/selinux/config 

SELINUX=disabled  #可以解决权限问题

三台机器更改主机名

机器分别更改主机名(等这台虚拟机弄好了,再去修改第二台和第三台,也就是克隆主机)

第一台主机名更改为:node01

第二台主机名更改为:node02

第三台主机名更改为:node03

hostnamectl set-hostname <newhostname>

第一台机器执行以下命令修改主机名

vim /etc/hostname
node01

第二台机器执行以下命令修改主机名

vim /etc/hostname
node02

第三台机器执行以下命令修改主机名

vim /etc/hostname
node03

三台机器更改主机名与IP地址映射

三台机器执行以下命令更改主机名与IP地址映射关系

vim /etc/hosts
​
192.168.52.100  node01
192.168.52.110  node02
192.168.52.120  node03

 

三台机器同步时间

三台机器执行以下命令定时同步阿里云服务器时间

 yum -y install ntpdate
 crontab -e 
 */1 * * * * /usr/sbin/ntpdate time1.aliyun.com

 

三台机器添加普通用户

三台linux服务器统一添加普通用户hadoop,并给以sudo权限,用于以后所有的大数据软件的安装

并统一设置普通用户的密码为 123456

 useradd hadoop
 passwd hadoop

三台机器为普通用户添加sudo权限

visudo
​
hadoop  ALL=(ALL)       ALL

三台定义统一目录

定义三台linux服务器软件压缩包存放目录,以及解压后安装目录,三台机器执行以下命令,创建两个文件夹,一个用于存放软件压缩包目录,一个用于存放解压后目录

 mkdir -p /kkb/soft     # 软件压缩包存放目录
 mkdir -p /kkb/install  # 软件解压后存放目录
 chown -R hadoop:hadoop /kkb    # 将文件夹权限更改为hadoop用户

 

三台机器安装jdk

==使用hadoop用户来重新连接三台机器,然后使用hadoop用户来安装jdk软件==

上传压缩包到第一台服务器的/kkb/soft下面,然后进行解压,配置环境变量即可,三台机器都依次安装即可

cd /kkb/soft/
​
tar -zxf jdk-8u141-linux-x64.tar.gz  -C /kkb/install/
sudo vim /etc/profile
​
​
#添加以下配置内容,配置jdk环境变量
export JAVA_HOME=/kkb/install/jdk1.8.0_141
export PATH=:$JAVA_HOME/bin:$PATH

 

hadoop用户免密码登录

三台机器在hadoop用户下执行以下命令生成公钥与私钥比

su - hadoop  #切换到hadoop用户

--------------------三台机器执行一遍----------------------
ssh-keygen -t rsa 
三台机器在hadoop用户下,执行以下命令将公钥拷贝到node01服务器上面去
ssh-copy-id  node01

-----------------------这个在node01执行就可以-------------
node01在hadoop用户下,执行以下命令,将authorized_keys拷贝到node02与node03服务器
cd /home/hadoop/.ssh/
scp authorized_keys  node02:$PWD
scp authorized_keys  node03:$PWD
​

---------------------以下三台机器都要执行-------------------------
chmod -R 755 .ssh/  可以一起执行
cd .ssh/
chmod 644 *
chmod 600 id_rsa
chmod 600 id_rsa.pub 
#把hadoop的公钥添加到本机认证文件当中,如果没有添加启动集群时需要输入密码才能启动,这里需要重点注意下
cat id_rsa.pub >> authorized_keys 

 

三台机器关机重启

三台机器在root用户下执行以下命令,实现关机重启

init 6

 


本文链接: http://www.dtmao.cc/news_show_300398.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?