Tag: 纱线

无法在hadoop 2.4.0上运行MapReduce作业

我是hadoop的新手，这是我的问题。 我在3台机器的集群上配置了带有jdk1.7.60的hadoop 2.4.0。 我能够执行hadoop的所有命令。 现在我修改了wordcount示例并创建了jar文件。 我已经在hadoop 1.2.1上使用这个jar文件执行并得到了结果。 但是现在在hadoop 2.4.0上我没有得到任何结果。 用于执行的命令 $hadoop jar WordCount.jar WordCount /data/webdocs.dat /output 我从设置中得到以下消息： 14/06/29 19:35:18 INFO client.RMProxy: Connecting to ResourceManager at /192.168.2.140:8040 14/06/29 19:35:18 WARN mapreduce.JobSubmitter: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this. 14/06/29 19:35:19 INFO input.FileInputFormat: Total input […]

/ bin / bash：/ bin / java：没有这样的文件或目录

我试图在Mac OS X EL Captain 10.11上使用Java 1.7 SDK和Hadoop2.7.1运行一个简单的wordcount MapReduce程序，我在容器日志“stderr”/ bin / bash：/ bin / java中收到以下错误消息：没有相应的文件和目录 申请日志 – 5/11/27 02:52:33 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 15/11/27 02:52:33 INFO client.RMProxy: Connecting to ResourceManager at /192.168.200.96:8032 15/11/27 02:52:34 INFO input.FileInputFormat: Total input paths to process : 0 15/11/27 […]

纱线MapReduce作业问题 – Hadoop 2.3.0中的AM容器启动错误

我已经设置了Hadoop 2.3.0的2节点集群。 它工作正常，我可以成功运行distributedshell-2.2.0.jar示例。 但是当我尝试运行任何mapreduce作业时，我都会收到错误。 我根据（ http://www.alexjf.net/blog/distributed-systems/hadoop-yarn-installation-definitive-guide ）设置了MapRed.xml和其他用于运行MapReduce作业的配置，但是我收到以下错误： 14/03/22 20:31:17 INFO mapreduce.Job: Job job_1395502230567_0001 failed with state FAILED due to: Application application_1395502230567_0001 failed 2 times due to AM Container for appattempt_1395502230567_0001_000002 exited with exitCode: 1 due to: Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException: org.apache.hadoop.util.Shell$ExitCodeException: at org.apache.hadoop.util.Shell.runCommand(Shell.java:505) at org.apache.hadoop.util.Shell.run(Shell.java:418) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650) at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:283) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:79) at java.util.concurrent.FutureTask.run(FutureTask.java:262) […]

Apache Helix vs YARN

Apache Helix和Hadoop YARN（MRv2）有什么区别。 有没有人有这两种技术的经验？ 有人可以向我解释一下Helix在YARN上的优缺点，以及LinkedIn为什么开发自己的集群管理而不是使用YARN？ 在此先感谢Tobi

在Hadoop 2上运行作业时无法初始化集群exception

问题与我之前的问题相关联所有守护进程都在运行，jps显示： 6663 JobHistoryServer 7213 ResourceManager 9235 Jps 6289 DataNode 6200 NameNode 7420 NodeManager 但wordcount示例继续失败，出现以下exception： ERROR security.UserGroupInformation: PriviledgedActionException as:root (auth:SIMPLE) cause:java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses. Exception in thread “main” java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses. at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:120) […]

YarnException：未经授权的启动容器的请求

我在3个集群上设置了hadoop2.2.0。 一切都很顺利。 NodeManager和Datanode在每个集群中启动。 但是，当我运行wordcount示例时，会发生100％映射，并给出以下exception： map 100% reduce 0% 13/11/28 09:57:15 INFO mapreduce.Job: Task Id : attempt_1385611768688_0001_r_000000_0, Status : FAILED Container launch failed for container_1385611768688_0001_01_000003 : org.apache.hadoop.yarn.exceptions. YarnException: Unauthorized request to start container. This token is expired. current time is 1385612996018 found 1385612533275 at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 我已经通过互联网找出解决方案。 但我无法找到。 帮帮我。

从windows eclipse运行Mapreduce（yarn）时出错

我正在从我的eclipse运行一个WordCount程序。 我试过Hadoop1.x它运行正常。 在hadoop2.x上运行时遇到问题 我试过1）将所有xml添加到我的类路径中。 2）也试过conf.set（），在conf对象中设置xml属性。 它还在日志中说：容器容器中没有可用的日志_1394042163908_0573_01_000001 Application application_1394042163908_0573 failed 2 times due to AM Container for appattempt_1394042163908_0573_000002 exited with exitCode: 1 due to: Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException: /bin/bash: line 0: fg: no job control at org.apache.hadoop.util.Shell.runCommand(Shell.java:464) at org.apache.hadoop.util.Shell.run(Shell.java:379) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:589) at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerEx ecutor.java:195) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:283) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:79) at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:334) at java.util.concurrent.FutureTask.run(FutureTask.java:166) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110)`enter code here` […]

纱线容器的理解和调整

嗨，我们最近从mr1升级到纱线。 我知道容器是一个抽象的概念，但我不明白一个容器可以产生多少jvm任务（map，reduce，filter等）或者其他方式要求是多个容器可以重复使用多个映射或减少任务。 我在下面的博客中读到： YARN中的容器是什么？ “each mapper and reducer runs on its own container to be accurate!” 这意味着如果我查看AM日志，我应该看到分配的容器数量等于map任务的数量（失败|成功）加上reduce任务的数量是正确的吗？ 我知道应用程序生命周期中容器的数量会根据AM请求，拆分，调度程序等而发生变化。 但有没有办法请求给定应用程序的最小容器的初始数量。 我认为一种方法是配置公平调度程序队列。 但还有什么能够决定这个吗？ 在MR的情况下，如果我有mapreduce.map.memory.mb = 3gb和mapreduce.map.cpu.vcores=4 。 我也有yarn.scheduler.minimum-allocation-mb = 1024m和yarn.scheduler.minimum-allocation-vcores = 1 。 这是否意味着我将获得一个带有4个核心的容器或带有一个核心的4个容器？ 还不清楚在哪里可以指定mapreduce.map.memory.mb和mapreduce.map.cpu.vcores 。 它们应该设置在客户机节点中还是可以按应用程序设置？ 同样来自RM UI或AM UI有没有办法查看当前为给定应用程序分配的容器？