Tag: spark jobserver

使用Java从另一个应用程序部署Apache Spark应用程序，这是最佳实践

我是Spark的新用户。 我有一个Web服务，允许用户通过从数据库读取并将结果推送回数据库来请求服务器执行复杂的数据分析。 我已将这些分析转移到各种Spark应用程序中。 目前我使用spark-submit来部署这些应用程序。 但是，我很好奇，当我的Web服务器（用Java编写）收到用户请求时，什么被认为是启动相应Spark应用程序的“最佳实践”方式？ Spark的文档似乎是使用“spark-submit”但我宁愿不将命令输出到终端来执行此操作。 我看到了一个替代方案Spark-JobServer，它提供了一个RESTful接口来完成这个任务，但我的Spark应用程序是用Java或R编写的，它似乎与Spark-JobServer不能很好地连接。 还有另一种最佳做法是从Web服务器（Java）启动spark应用程序，并等待状态结果，无论作业成功还是失败？ 任何其他人为实现这一目标所做的事情的想法都会非常有用！ 谢谢！