Java基本数据类型 intellij idea下载 学生排队 Mixin sqlite combobox flexbox jestjs bower vue组件开发 vue前端开发 网页后台模板 access教学视频 collection框架的结构 javaweb是前端还是后端 mysql重启 python生成随机数 python手册 python例子 python的random模块 python位操作 java正则匹配 java什么是多态 java搭建 java设置 java开发者 java输出 linux教程 找茬辅助 java分布式开发 主板芯片组天梯图 键盘模拟器 winterboard kontakt 小票打印 大势至usb监控 脚本学习 ug拔模 cdlinux教程 抽出滤镜下载
当前位置: 首页 > 学习教程  > 编程语言

hadoop机架感知配置——HDFS

2020/10/8 18:33:47 文章标签:

编辑core-site.xml配置文件,将脚本配置为topology.script.file.name的值 进入到 /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 的位置编辑core-site.xml配置文件,将下面的代码添加到文件的末尾并保存 topology.script.file.name /home/bigdata/a…

编辑core-site.xml配置文件,将脚本配置为topology.script.file.name的值
进入到
/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
的位置编辑core-site.xml配置文件,将下面的代码添加到文件的末尾并保存

topology.script.file.name
/home/bigdata/apps/hadoop/etc/hadoop/RackAware.py

最后进入到
/export/servers/hadoop-2.6.0-cdh5.14.0/sbin
的位置重新启动hadoop的相关节点服务,运行正常后打开浏览器
输入http://192.168.10.201:8088/cluster/nodes
点击Nodes查看是否修改成功

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录

  • 前言
  • 一、编写Python脚本“RackAware.py”
  • 二、编辑core-site.xml配置文件


前言

机架感知需要人为进行配置,编写Python脚本“RackAware.py”。内容为服务器IP与交换机的对应关系。(开源hadoop,使用RackAware.sh)


一、编写Python脚本“RackAware.py”

1: 选择主节点进入到

/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

编写Python脚本“RackAware.py”

#!/usr/bin/python  
#-*-coding:UTF-8 -*-  
import sys  
  
rack = {  

     "192.168.10.201":"SW6300-1",
     "192.168.10.202":"SW6300-2",
     "192.168.10.203":"SW6300-3",
		}  
if __name__=="__main__":  
    print "/" + rack.get(sys.argv[1],"SW6300-1-2")

注:
IP后的交换机名可根据自己需求编写RackAware.py 的权限需要修改,不然后出现权限不够的报错!

chmod 777 RackAware.py

2: 然后scp到其他节点的相同路径的位置保存后用以下代码验证看是否成功

[root@node01 sbin]# python RackAware.py 192.168.10.201
/SW6300-1 
[root@node01 sbin]# python RackAware.py 192.168.10.202
/SW6300-2
[root@node01 sbin]# python RackAware.py 192.168.10.203
/SW6300-3

二、编辑core-site.xml配置文件

编辑core-site.xml配置文件,
将脚本配置为topology.script.file.name的值
先进入到

/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

的位置编辑core-site.xml配置文件,将下面的代码添加到文件的末尾并保存

<property>
<name>topology.script.file.name</name>
<value>/home/bigdata/apps/hadoop/etc/hadoop/RackAware.py</value>
</property>

最后进入到

/export/servers/hadoop-2.6.0-cdh5.14.0/sbin

的位置重新启动hadoop的相关节点服务,运行正常后打开浏览器
输入

http://192.168.10.201:8088/cluster/nodes

点击Nodes查看是否修改成功。
在这里插入图片描述



本文链接: http://www.dtmao.cc/news_show_250053.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?