Kerberos认证原理 centos 跨域 element vim复制 php csv jdbc callback chartjs vue注册组件 vue循环数组 bootstrap后台管理 在线考试系统代码 oracle分页关键字 js获取数组第一个元素 录音棚设备一套多少钱 基于bootstrap的框架 java运行软件 bootstrap文本框 destoon python生成随机数 二分查找python python操作文件 java入门级教程 java判断语句 java目录 php实例代码 allowoverride 瑞兹技能 maven项目打包 批量插入数据 arm体系结构与编程 ps反向选择的快捷键 vue定时器 asp编程 屏幕录像机 摇骰子表情包 暴力猴 opengl版本过低
当前位置: 首页 > 学习教程  > 编程语言

上海腾科教育达梦数据库培训干货分享DMETL集群的配置方法

2020/8/31 14:51:59 文章标签:

在实际工作中,为了提高数据装载的效率,我们可以采用集群的方式来运行DMETL。这里我们演示DMETL使用一主多从的形式,配置主节点(172.10.10.203)和从节点(172.10.10.204),过程如下:

 

1.在所需配置的服务器上分别安装企业版的ETL,需注意,所有集群ETL需要共用一套元数据。可以在ETL配置文件中设置,如下图,所有节点元数据配置一致,本例选择单独的外置DM7数据库:

 

 

 

2.DMETL.ini中必须需要修改的参数,主节点从节点一致:

 

参数

说明

SERVER_TYPE

服务器节点类型, 1 为独立服务器;2 为主节点服务器; 3 为从节点服务器

主节点选2,从节点选3

MASTER_ADDRESS

需要修改为实际的主节点ip地址

MASTER_PORT

主节点端口号

MASTER_HEARTBEAT_ADDRESS

需要修改为实际的主节点ip地址

ENABLE_MULTICAST

此参数修改为1

 

3.启动服务,将从节点加入到集群中

开启ETL服务,通过ETL管理器连接到主节点,菜单栏中选择集群管理:

 

 

然后选择添加从节点,如下图,服务器ID可以直接获取:

 

 

添加成功后如下图:

 

 

4.转换中的集群配置:

在数据装载目的段选择集群配置,可以选择自动根据负载因子分配。也可以自定义,比如选择所有的节点:

 

 

如图可见,装载时两节点并行,并且实际速度比单节点会有明显提升。不过只对表装载起作用,对文件装载只能是单节点。

 

需要注意一点,所需要的其他配置文件或者数据源文件,如果选择集群自动方式时,需要保证每个服务器上都实际存在相关的文件。


本文链接: http://www.dtmao.cc/news_show_150304.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?