Hadoop作业:任务无法报告状态601秒

在伪节点上运行hadoop作业时,任务失败并被杀死。 错误:任务尝试_无法报告状态达601秒

但是同一个程序正在运行Eclipse(本地工作)。

任务:大约有25K关键字,输出将是所有可能的组合(一次两个),即大约25K * 25K entires

可能是什么问题?

出于某种原因,在伪节点上执行任务时,任务没有进展。 您可以在mapred-site.xml中增加“mapred.task.timeout”设置。 mapred-default.xml中默认值的默认值为:

 mapred.task.timeout 600000 The number of milliseconds before a task will be terminated if it neither reads an input, writes an output, nor updates its status string.   

出于测试目的/一次性工作或调试,超时值的增加可能是一个不错的选择,但是如实践表明这不是生产的好解决方案,您应该检查并优化代码。

Hadoop为此提供报告API。 如果您没有向hadoop作业报告进度为10分钟(600秒),则会将任务视为已停止并终止任务。 API参考在这里