如何下载dse.jar

我正在尝试使用DataStax Enterprise 4.6在Java中编写Spark应用程序,并在DSE的Spark分析模式下运行它。

使用DSEConfHelper创建Spark上下文的代码:

 SparkConf conf = DseSparkConfHelper.enrichSparkConf(new SparkConf()) .setAppName( "My application"); 

要使用DSEConfHelper我们需要导入位于dse.jar中的dse.jar

在我的pom.xml我包含了依赖项:

  com.datastax bdp 4.6.0  

但是Maven无法下载dse.jar

请帮帮我。

用于创建Spark上下文的代码的参考来自: http : //www.datastax.com/documentation/datastax_enterprise/4.6/datastax_enterprise/spark/sparkJavaApi.html

编辑 :这已完全被com.datastax.dse.dse-spark-dependencies工件取代。 将它添加到您的pom.xml:

   com.datastax.dse dse-spark-dependencies ${dse.version} provided     DataStax-Repo https://repo.datastax.com/public-repos/   

有关Maven,SBT和Gradle示例项目,请参阅https://github.com/datastax/SparkBuildExamples 。

原创,过时的答案

您必须立即手动安装dse.jar 。 有两种方法可以做到这一点。

选项1使用mvn install JAR文件:

 $ mvn install:install-file -Dfile= -DgroupId=com.datastax -DartficactId=bdp -Dversion=4.6.0 

选项2dse.jar从安装位置手动复制到${project.basedir}/lib/ 。 然后修改你的pom.xml

  com.datastax bdp 4.6.0 system ${project.basedir}/lib/dse.jar  

我真的不知道你为什么要调用神器“bdp”,但出于这些目的它并不重要,我也只是使用它。

dse.jar是DSE安装的一部分。 如果您在Windows环境中工作,可以在dse.jar找到它

注册,下载并取消以在lib文件夹中找到jar。 使用上面的答案将其添加到您的maven项目中。