渣渣请教一下大佬们,hive mr加载特大数据量,历史很…

渣渣请教一下大佬们,hive mr加载特大数据量,历史很多分区的数据(N*T),怎么设置参数。加载数据就失败了。。。

楼主:M

北京爱奇艺科技有限公司员工:多大的数据量要提前加载

楼主:几十个T吧,执行sql第一步不就是加载数据吗?失败了

程序猿.曲洋:报code2?得翻yarn日志吧

楼主:还没有到yarn那一步了

楼主:M

程序猿.胡青牛:m

程序猿.奔霄:合并成大文件,减少map

狄云:看下日志,报错原因,在哪个阶段 一般日志会有提示 map数限制,文件个数限制或者其他

楼主:开头时候的,还没有进yarn怎么看日志呢

楼主:文件不小,就是单纯数据量大的问题