如何下载dse.jar
我正在尝试使用DataStax Enterprise 4.6在Java中编写Spark应用程序,并在DSE的Spark分析模式下运行它。
使用DSEConfHelper
创建Spark上下文的代码:
SparkConf conf = DseSparkConfHelper.enrichSparkConf(new SparkConf()) .setAppName( "My application");
要使用DSEConfHelper
我们需要导入位于dse.jar
中的dse.jar
。
在我的pom.xml
我包含了依赖项:
com.datastax bdp 4.6.0
但是Maven无法下载dse.jar
。
请帮帮我。
用于创建Spark上下文的代码的参考来自: http : //www.datastax.com/documentation/datastax_enterprise/4.6/datastax_enterprise/spark/sparkJavaApi.html
编辑 :这已完全被com.datastax.dse.dse-spark-dependencies工件取代。 将它添加到您的pom.xml:
com.datastax.dse dse-spark-dependencies ${dse.version} provided DataStax-Repo https://repo.datastax.com/public-repos/
有关Maven,SBT和Gradle示例项目,请参阅https://github.com/datastax/SparkBuildExamples 。
原创,过时的答案 :
您必须立即手动安装dse.jar
。 有两种方法可以做到这一点。
选项1使用mvn install
JAR文件:
$ mvn install:install-file -Dfile= -DgroupId=com.datastax -DartficactId=bdp -Dversion=4.6.0
选项2将dse.jar
从安装位置手动复制到${project.basedir}/lib/
。 然后修改你的pom.xml
:
com.datastax bdp 4.6.0 system ${project.basedir}/lib/dse.jar
我真的不知道你为什么要调用神器“bdp”,但出于这些目的它并不重要,我也只是使用它。
dse.jar是DSE安装的一部分。 如果您在Windows环境中工作,可以在dse.jar找到它
注册,下载并取消以在lib文件夹中找到jar。 使用上面的答案将其添加到您的maven项目中。