CDH5.2：MR，无法初始化任何输出收集器
Cloudera CDH5.2快速启动VM Cloudera Manager显示所有节点state = GREEN
我在Eclipse上做了一个MR工作，包括Build Path中的所有相关cloudera jar：avro-1.7.6-cdh5.2.0.jar，avro-mapred-1.7.6-cdh5.2.0-hadoop2.jar，hadoop-common -2.5.0-cdh5.2.0.jar，hadoop-mapreduce-client-core-2.5.0-cdh5.2.0.jar
我做了以下工作
hadoop jar jproject1.jar avro00.AvroUserPrefCount -libjars ${LIBJARS} avro/00/in avro/00/out 我得到以下错误，是Java堆问题，任何评论？ 先感谢您
14/11/14 01:02:40 INFO client.RMProxy: Connecting to ResourceManager at quickstart.cloudera/127.0.0.1:8032 14/11/14 01:02:43 INFO input.FileInputFormat: Total input paths to process : 1 14/11/14 01:02:43 INFO mapreduce.JobSubmitter: number of splits:1 14/11/14 01:02:44 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1415950730849_0001 14/11/14 01:02:45 INFO impl.YarnClientImpl: Submitted application application_1415950730849_0001 14/11/14 01:02:45 INFO mapreduce.Job: The url to track the job: http://quickstart.cloudera:8088/proxy/application_1415950730849_0001/ 14/11/14 01:02:45 INFO mapreduce.Job: Running job: job_1415950730849_0001 14/11/14 01:03:04 INFO mapreduce.Job: Job job_1415950730849_0001 running in uber mode : false 14/11/14 01:03:04 INFO mapreduce.Job: map 0% reduce 0% 14/11/14 01:03:11 INFO mapreduce.Job: Task Id : attempt_1415950730849_0001_m_000000_0, Status : FAILED Error: java.io.IOException: Unable to initialize any output collector at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:412) at org.apache.hadoop.mapred.MapTask.access$100(MapTask.java:81) at org.apache.hadoop.mapred.MapTask$NewOutputCollector.(MapTask.java:695) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:767) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163) ... ...
检查失败尝试的完整任务日志attempt_1415950730849_0001_m_000000_0将有助于说明您遇到给定exception的原因。
观察此类错误的最常见原因是您的工作中io.sort.mb值配置错误。 它的值绝不能接近（或高于）配置的映射任务堆大小，并且当前也不得超过~2000 MB （Java数组最大大小）。
最近通过MAPREDUCE-6194提交并解决了在真正失败时使错误更清晰的上游改进。
我昨天遇到了同样的问题。 我检查了syslog中失败的特定map任务，这表明我在该任务中遇到了另一个触发此错误的exception。 在我的情况下，这是一个无效的解析，当我纠正该问题时，此错误已得到修复。
仔细检查失败任务的日志应该是问题的根本原因。