无法执行超过火花作业“初始作业未接受任何资源”

使用独立的Spark Java来执行下面的代码片段,我得到状态总是等待时出现以下错误。当我尝试添加Print语句时,它不起作用。 是否有任何配置我可能错过了多个工作?

15/09/18 15:02:56 INFO DAGScheduler:从第0阶段提交2个缺失的任务(MapPartitionsRDD [2]在SparkTest.java:143的filter处)

15/09/18 15:02:56 INFO TaskSchedulerImpl:添加任务集0.0,包含2个任务

15/09/18 15:03:11 WARN TaskSchedulerImpl:初始工作没有接受任何资源; 检查群集UI以确保工作人员已注册并具有足够的资源

15/09/18 15:03:26 WARN TaskSchedulerImpl:初始工作没有接受任何资源; 检查群集UI以确保工作人员已注册并具有足够的资源

15/09/18 15:03:41 WARN TaskSchedulerImpl:初始工作没有接受任何资源; 检查群集UI以确保工作人员已注册并具有足够的资源

JavaRDD words = input.flatMap(new FlatMapFunction() //Ln:143 { public Iterable call(String x) { return Arrays.asList(x.split(" ")); } }); // Count all the words System.out.println("Total words is" + words.count()) 

此错误消息表示您的应用程序正在从群集请求比群集当前提供的更多资源,即群集中可用的内核或RAM更多。

其中一个原因可能是您已经运行了一个占用所有可用内核的作业。

发生这种情况时,您的工作很可能是等待另一项工作完成并释放资源。

您可以在Spark UI中进行检查。