UI Automator webstorm汉化包 animation lua bluetooth vue的优点 bootstrap后台管理 react脚手架 sketch up教程 jquery绑定change事件 jquery事件绑定方法 bootstrap时间轴 oracle删除字段 short几个字节 java运行软件 excel被保护怎么解除 mysql汉化包 java手机验证码 mysql删除存储过程 docker创建容器 表白网页源码 python集合操作 python文件写入 java8特性 java链接mysql数据库 java数组输出 java命令 linux命令 linux镜像安装 kafka中文教程 linux操作系统原理 黑帮之地修改器 typemonkey 视频加字幕软件哪个好 黑白照片一键变彩色 风火云 mysql使用教程 文字转语音软件免费版 茸好珠 男网红头像
当前位置: 首页 > 学习教程  > 编程语言

HiveQL中如何排查数据倾斜问题

2021/1/28 23:19:54 文章标签:

转https://blog.csdn.net/u010010664/article/details/79731044 数据倾斜的现象: 会导致的问题 可能会导致下面2个问题 1)某个reduce task,卡在99.9%半天不动。如下 2)任务超时被杀掉 Reduce处理的数据量巨大,在做full gc的时候&a…

转https://blog.csdn.net/u010010664/article/details/79731044

数据倾斜的现象:

会导致的问题

可能会导致下面2个问题

1)某个reduce task,卡在99.9%半天不动。如下

 

2)任务超时被杀掉

Reduce处理的数据量巨大,在做full gc的时候,stop the world。导致响应超时,超出默认的600秒,任务被杀掉。报错信息

AttemptID:attempt_1498075186313_242232_r_000021_1 Timed outafter 600 secs Container killed by the ApplicationMaster. Container killed onrequest. Exit code is 143 Container exited with a non-zero exit code 143。

如何判断:

通过时间判断

如果某个reduce的时间比其他reduce时间长的多。(注意:如果每个reduce执行时间差不多,都特别长,则可能是reduce设置过少导致的)。如下图。大部分task在4分钟之内完成,只有r_000021这个task在30分钟内还没完成。

另外注意,这里面需要排除一种特殊情况。有时候,某个task执行的节点可能有问题,导致任务跑的特别慢。这个时候,mapreduce的推测执行,会重启一个任务。如果新的任务在很短时间内能完成,通常则是由于task执行节点问题导致的个别task慢。如果推测执行后的task执行任务也特别慢,那更能说明该task可能会有倾斜问题。

 

//todo

 

 


本文链接: http://www.dtmao.cc/news_show_650160.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?