初始工作没有接受任何资源; 检查群集UI以确保工作人员已注册并具有足够的资源
我正在尝试从Eclipse运行spark示例并获得此一般错误： Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources. Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources.
我的版本是spark-1.6.2-bin-hadoop2.6. 我使用shell中的./sbin/start-master.sh命令启动了spark，并将我的sparkConf设置为：
SparkConf conf = new SparkConf().setAppName("Simple Application"); conf.setMaster("spark://My-Mac-mini.local:7077");
我没有在这里带任何其他代码，因为我正在运行的任何示例都会弹出此错误。 该机器是Mac OSX，我很确定它有足够的资源来运行最简单的例子。
我错过了什么？
该错误表明您的群集没有足够的资源用于当前作业。因为您尚未启动奴隶即工作人员。 群集将没有任何资源分配给您的工作。 启动奴隶会奏效。
`start-slave.sh `
解答你的答案
原因
- Spark Master没有分配任何资源来执行作业，如工作节点或从节点。
固定
- 您必须通过连接主节点来启动从节点 ，如/ SPARK_HOME / sbin> ./start-slave.sh spark：// localhost：7077 （如果您的主节点在本地节点中）
结论
- 在spark-submit期间启动主节点和从节点，这样您将获得足够的资源来执行作业。
复用方式
- 您需要在spark-env.sh文件中进行必要的更改，这是不推荐的。
尝试使用“spark：//127.0.0.1：7077”作为主地址而不是* .local名称。 有时java无法解析.local地址 – 原因我不明白。