纱线MapReduce作业问题 – Hadoop 2.3.0中的AM容器启动错误
我已经设置了Hadoop 2.3.0的2节点集群。 它工作正常,我可以成功运行distributedshell-2.2.0.jar示例。 但是当我尝试运行任何mapreduce作业时,我都会收到错误。 我根据( http://www.alexjf.net/blog/distributed-systems/hadoop-yarn-installation-definitive-guide )设置了MapRed.xml和其他用于运行MapReduce作业的配置,但是我收到以下错误:
14/03/22 20:31:17 INFO mapreduce.Job: Job job_1395502230567_0001 failed with state FAILED due to: Application application_1395502230567_0001 failed 2 times due to AM Container for appattempt_1395502230567_0001_000002 exited with exitCode: 1 due to: Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException: org.apache.hadoop.util.Shell$ExitCodeException: at org.apache.hadoop.util.Shell.runCommand(Shell.java:505) at org.apache.hadoop.util.Shell.run(Shell.java:418) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650) at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:283) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:79) at java.util.concurrent.FutureTask.run(FutureTask.java:262) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:744) Container exited with a non-zero exit code 1 .Failing this attempt.. Failing the application. 14/03/22 20:31:17 INFO mapreduce.Job: Counters: 0 Job ended: Sat Mar 22 20:31:17 PKT 2014 The job took 6 seconds.
如果查看stderr(作业日志),只有一行"Could not find or load main class 614"
现在我用google搜索它,通常当你有不同的JAVA版本或者在yarn-site.xml
类路径没有正确设置时出现这个问题,我的yarn-site.xml
有这个
yarn.application.classpath /opt/yarn/hadoop-2.3.0/etc/hadoop,/opt/yarn/hadoop-2.3.0/*,/opt/yarn/hadoop-2.3.0/lib/*,/opt/yarn/hadoop-2.3.0/*,/opt/yarn/hadoop-2.3.0/lib/*,/opt/yarn/hadoop-2.3.0/*,/opt/yarn/hadoop-2.3.0/lib/*,/opt/yarn/hadoop-2.3.0/*,/opt/yarn/hadoop-2.3.0/lib/*
那么任何其他想法可能是什么问题?
我正在运行我的mapreduce工作:
$HADOOP_PREFIX/bin/hadoop jar $HADOOP_PREFIX/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar randomwriter out
尝试手动安装Hortonworks HDP 2.1时遇到了同样的问题。 我设法捕获容器启动器脚本,其中包含以下内容:
#!/bin/bash export NM_HTTP_PORT="8042" export LOCAL_DIRS="/data/1/hadoop/yarn/local/usercache/doug/appcache/application_1406927878786_0001,/data/2/hadoop/yarn/local/usercache/doug/appcache/application_1406927878786_0001,/data/3/hadoop/yarn/local/usercache/doug/appcache/application_1406927878786_0001,/data/4/hadoop/yarn/local/usercache/doug/appcache/application_1406927878786_0001" export JAVA_HOME="/usr/java/latest" export NM_AUX_SERVICE_mapreduce_shuffle="AAA0+gAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA=" export CLASSPATH="$PWD:$HADOOP_CONF_DIR:$HADOOP_COMMON_HOME/share/hadoop/common/*:$HADOOP_COMMON_HOME/share/hadoop/common/lib/*:$HADOOP_HDFS_HOME/share/hadoop/hdfs/*:$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*:$HADOOP_YARN_HOME/share/hadoop/yarn/*:$HADOOP_YARN_HOME/share/hadoop/yarn/lib/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*:job.jar/job.jar:job.jar/classes/:job.jar/lib/*:$PWD/*" export HADOOP_TOKEN_FILE_LOCATION="/data/2/hadoop/yarn/local/usercache/doug/appcache/application_1406927878786_0001/container_1406927878786_0001_01_000001/container_tokens" export NM_HOST="test02.admin.hypertable.com" export APPLICATION_WEB_PROXY_BASE="/proxy/application_1406927878786_0001" export JVM_PID="$$" export USER="doug" export HADOOP_HDFS_HOME="/usr/lib/hadoop-hdfs" export PWD="/data/2/hadoop/yarn/local/usercache/doug/appcache/application_1406927878786_0001/container_1406927878786_0001_01_000001" export CONTAINER_ID="container_1406927878786_0001_01_000001" export HOME="/home/" export NM_PORT="62404" export LOGNAME="doug" export APP_SUBMIT_TIME_ENV="1406928095871" export MAX_APP_ATTEMPTS="2" export HADOOP_CONF_DIR="/etc/hadoop/conf" export MALLOC_ARENA_MAX="4" export LOG_DIRS="/data/1/hadoop/yarn/logs/application_1406927878786_0001/container_1406927878786_0001_01_000001,/data/2/hadoop/yarn/logs/application_1406927878786_0001/container_1406927878786_0001_01_000001,/data/3/hadoop/yarn/logs/application_1406927878786_0001/container_1406927878786_0001_01_000001,/data/4/hadoop/yarn/logs/application_1406927878786_0001/container_1406927878786_0001_01_000001" ln -sf "/data/1/hadoop/yarn/local/usercache/doug/filecache/10/libthrift-0.9.2.jar" "libthrift-0.9.2.jar" ln -sf "/data/4/hadoop/yarn/local/usercache/doug/appcache/application_1406927878786_0001/filecache/13/job.xml" "job.xml" mkdir -p jobSubmitDir ln -sf "/data/3/hadoop/yarn/local/usercache/doug/appcache/application_1406927878786_0001/filecache/12/job.split" "jobSubmitDir/job.split" mkdir -p jobSubmitDir ln -sf "/data/2/hadoop/yarn/local/usercache/doug/appcache/application_1406927878786_0001/filecache/11/job.splitmetainfo" "jobSubmitDir/job.splitmetainfo" ln -sf "/data/1/hadoop/yarn/local/usercache/doug/appcache/application_1406927878786_0001/filecache/10/job.jar" "job.jar" ln -sf "/data/2/hadoop/yarn/local/usercache/doug/filecache/11/hypertable-0.9.8.0-apache2.jar" "hypertable-0.9.8.0-apache2.jar" exec /bin/bash -c "$JAVA_HOME/bin/java -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=/data/4/hadoop/yarn/logs/application_1406927878786_0001/container_1406927878786_0001_01_000001 -Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Xmx1024m org.apache.hadoop.mapreduce.v2.app.MRAppMaster 1>/data/4/hadoop/yarn/logs/application_1406927878786_0001/container_1406927878786_0001_01_000001/stdout 2>/data/4/hadoop/yarn/logs/application_1406927878786_0001/container_1406927878786_0001_01_000001/stderr "
设置CLASSPATH
的行是罪魁祸首。 要解决这个问题,我必须在hadoop-env.sh
设置变量HADOOP_COMMON_HOME
, HADOOP_HDFS_HOME
, HADOOP_YARN_HOME
和HADOOP_MAPRED_HOME
,以指向/usr/lib
下的相应目录。 在每个目录中,我还必须设置share/hadoop/...
子目录层次结构,其中可以找到jar子。
我用以下方法解决了这个问题:
因为在我的hadoop / etc / hadoop [hadoop-2.7.3配置目录]中:关于mapred-site.xml:
mapreduce.framework.name yarn mapreduce.jobhistory.address zhangjunj:10020 mapreduce.jobhistory.webapp.address zhangjunj:19888
在这个文件中。 ‘zhangjunj’必须是你主人的机器名,但我在开头写了’hadoop’。
我解决了这个问题,原因是路径不正确。 通过给mapred的完整目录路径,hdfs,yarn&common解决了这个问题。
谢谢,托尼
请检查酒店。 确保所有必需的jar子都存在。
** yarn.application.classpath ** / etc / hadoop / conf,/ usr / lib / hadoop / ,/ usr / lib / hadoop / lib / ,/ usr / lib / hadoop-hdfs / ,/ usr / lib / hadoop-hdfs / lib / ,/ usr / lib / hadoop-yarn / ,/ usr / lib / hadoop-yarn / lib / ,/ usr / lib / hadoop-mapreduce / ,/ usr / lib / hadoop-mapreduce / lib /
也许您可以在$ HADOOP_HOME / bin下使用以下代码运行HistoryServer,
./mr-jobhistory-daemon.sh start historyserver
然后,您可以从此URL控制Hadoop错误的日志,(历史记录日志)
http://:8088/cluster
而且很可能你得到了Class Not Found Exception
我在Ambari 2.0 + HDP2.3 + HUE3.9上也遇到过这个问题我的修复经验是:1。确保所有hadoop纱线节点上都存在spark客户端2.在所有纱线节点(spark客户端)和hue主机上导出SPARK_HOME
权限应为6050所有者:root group hadoop
— Sr-s — 1根hadoop / usr / lib / hadoop-yarn / bin / container-executor
请先检查日志(它们将位于Hadoop的logs目录下的用户目录中)。
还要检查您在yarn,hdfs,core-site XML文件中提到的所有目录的权限。 因为此错误是由大多数情况下的错误权限问题引起的。
检查系统中的交换大小: free -m
如果存在Swap: 0 0 0
按照这些说明分配交换内存
在我的情况下,问题是由于内存不足。 我在下面的评论中将adino建议的下面插入了yarn-site-xml:
yarn.nodemanager.delete.debug-delay-sec 600
之后我可以在stderr日志文件中看到错误。 我不记得确切的措辞(日志文件在一段时间后被删除)。 这是“内存不足错误”的路线
我编辑了我的虚拟机以添加另一个大小为3千兆字节的交换分区(可能是总技能过高)。 我是用Gparted做的。
之后我必须通过输入来注册新的交换分区
mkswap /dev/sda6 (/dev/sda6 is the partition name) swapon /dev/sda6
我通过输入“blkid”并复制uid找到了新交换分区的uid。
我将交换注册到文件fstab中:
sudo vi /etc/fstab
我为新的交换分区添加了一个新行。 我从前一个交换分区复制了整行,只是更改了UID。
UUID=2d29cddd-e721-4a7b-95c0-7ce52734d8a3 none swap sw 0 0
在此之后,错误消失了。 我确信有更优雅的方法可以解决这个问题,但这对我有用。 我很擅长处理Linux。
您需要通过将yarn.nodemanager.delete.debug-delay-sec
为600来延迟日志删除。
这将允许您浏览相关容器目录中/hadoop/yarn/log
中的stderr,stdout和syslog。
最有可能的是,您将在syslog中找到错误。 并且,很可能,它将是类tez.history.logging.service.class = org.apache.tez.dag.history.logging.ats.ATSV15HistoryLoggingService的ClassNotFoundException
。
如果是这种情况,请参考以下故障单:
- 在logback.xml中有没有办法通过classpath:指定文件日志目的地,没有绝对路径?
- servlet中“response.setContentType(”text / html“)”的用法是什么?
- 使用hadoop-yarn-server-nodemanager编译错误
- 如何使用spark处理一系列hbase行?
- 由于任务尝试无法报告状态600秒,因此减少失败。 杀! 解?
- Hadoop构建在Windows中失败:native.sln缺少zconf.h?
- 由于java.io.NotSerializableException:org.apache.spark.SparkContext,Spark作业失败
- Hive启动 – 终端初始化失败; 回到没有支持
- 尝试格式化namenode时无法找到或加载主类; 在MAC OS X 10.9.2上安装hadoop
- 如何在类路径中包含hbase-site.xml
- Trunk无法编译,因为在Eclipse下使用Hadoop时libprotoc已经过时了