Tag:

Spark:以编程方式获取集群核心数

我在纱线集群中运行我的火花应用程序。 在我的代码中,我使用数量可用的队列核心在我的数据集上创建分区: Dataset ds = … ds.coalesce(config.getNumberOfCores()); 我的问题:我如何通过编程方式而不是通过配置获得队列的可用数量?