如何在IntelliJ IDE中集成Spark和Scala项目？

我正在使用IntelliJ IDE来使用Scala和Spark。 在这个IDE中，我使用Scala对象创建了一个Scala项目（见图）。

我使用了此网站上的示例回归代码。

我还从GitHub下载了Spark Framework作为非Maven用户（如此处所述）。

我的问题是如何将此Spark框架与我的Scala项目相关联？ 我还需要集成一些额外的库才能使用Spark MLLib吗？

Answer 1

我建议在build.sbt创建具有以下依赖项的简单sbt项目

 libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "1.5.1", "org.apache.spark" %% "spark-sql" % "1.5.1" ) 

然后通过菜单打开它，开始从sbt导入项目。

当IDEA完成导入\下载\索引库时，您只需ctrl-shift-D和voilà – 您可以使用带有语法的spark控制台完美突出显示多行编辑和完成。

然后你可以创建目录/src/main/scala如果它不存在）。 或者您可以让IDEA在选项中为您创建它：

接下来，您应该在scala目录中创建新对象，选择“new scala class – object”：

接下来在对象的main方法中编写一些代码，并通过ctrl-shift-F10或context命令运行它

并享受你的结果