Tag: 纱

为什么YARN java堆空间内存错误？

我想尝试在YARN中设置内存，所以我将尝试在yarn-site.xml和mapred-site.xml上配置一些参数。 顺便说一句，我使用hadoop 2.6.0。 但是，当我做mapreduce工作时，我收到一个错误。 它像这样说： 15/03/12 10:57:23 INFO mapreduce.Job: Task Id : attempt_1426132548565_0001_m_000002_0, Status : FAILED Error: Java heap space Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143 我认为我已经正确配置了，我给map.java.opts和reduce.java.opts小尺寸= 64 MB。 我尝试配置一些参数，比如在mapred-site.xml上更改map.java.opts和reduce.java.opts，我仍然会收到此错误。 我认为我并不真正理解YARN记忆是如何工作的。 顺便说一句，我尝试单节点计算机。

Spark：以编程方式获取集群核心数

我在纱线集群中运行我的火花应用程序。 在我的代码中，我使用数量可用的队列核心在我的数据集上创建分区： Dataset ds = … ds.coalesce(config.getNumberOfCores()); 我的问题：我如何通过编程方式而不是通过配置获得队列的可用数量？