Spring + Maven + Hadoop

我在Spring + Maven + Hadoop环境中遇到了问题。 我正在使用Apache Hadoop,但不要使用SpringSource提供的spring-hadoop。 我在maven中添加了以下依赖关系,以便在java中使用hadoop。

 org.apache.hadoop hadoop-core 0.20.2   org.mortbay.jetty jetty   org.mortbay.jetty jetty-util   org.mortbay.jetty jsp-2.1   org.mortbay.jetty jsp-api-2.1   org.mortbay.jetty servlet-api-2.1   javax.servlet servlet-api   javax.servlet.jsp jsp-api   tomcat jasper-compiler   tomcat jasper-runtime    

我执行了hadoop mapreduce工作。 Mapreduce工作运作良好。

但我无法在Hadoop Web UI中看到“正在运行的作业”列表中执行的作业( http://xxx.xxx.xxx.xxx:50030/jobtracker.jsp )

我开始没有hadoop命令(ex-bin / hadoop -jar …. jar),但只是java应用程序。 这可能是原因吗?

Hadoop提供API以在本地运行MR作业,而无需设置Hadoop集群。 如果您在Hadoop Web UI中没有看到您的作业正在运行/完成 – 您似乎在本地运行MR作业。

要远程运行 – 请在http://xxx.xxx.xxx.xxx:9001中指定相应的作业跟踪主机