Spring + Maven + Hadoop
我在Spring + Maven + Hadoop环境中遇到了问题。 我正在使用Apache Hadoop,但不要使用SpringSource提供的spring-hadoop。 我在maven中添加了以下依赖关系,以便在java中使用hadoop。
org.apache.hadoop hadoop-core 0.20.2 org.mortbay.jetty jetty org.mortbay.jetty jetty-util org.mortbay.jetty jsp-2.1 org.mortbay.jetty jsp-api-2.1 org.mortbay.jetty servlet-api-2.1 javax.servlet servlet-api javax.servlet.jsp jsp-api tomcat jasper-compiler tomcat jasper-runtime
我执行了hadoop mapreduce工作。 Mapreduce工作运作良好。
但我无法在Hadoop Web UI中看到“正在运行的作业”列表中执行的作业( http://xxx.xxx.xxx.xxx:50030/jobtracker.jsp )
我开始没有hadoop命令(ex-bin / hadoop -jar …. jar),但只是java应用程序。 这可能是原因吗?
Hadoop提供API以在本地运行MR作业,而无需设置Hadoop集群。 如果您在Hadoop Web UI中没有看到您的作业正在运行/完成 – 您似乎在本地运行MR作业。
要远程运行 – 请在http://xxx.xxx.xxx.xxx:9001中指定相应的作业跟踪主机