Spark Kafka流媒体问题
我正在使用maven
我添加了以下依赖项
org.apache.spark spark-streaming_2.10 1.1.0 org.apache.spark spark-streaming-kafka_2.10 1.1.0
我还在代码中添加了jar
SparkConf sparkConf = new SparkConf().setAppName("KafkaSparkTest"); JavaSparkContext sc = new JavaSparkContext(sparkConf); sc.addJar("/home/test/.m2/repository/org/apache/spark/spark-streaming-kafka_2.10/1.0.2/spark-streaming-kafka_2.10-1.0.2.jar"); JavaStreamingContext jssc = new JavaStreamingContext(sc, new Duration(5000));
它可以很好地解决任何错误,当我通过spark-submit运行时,我收到以下错误,非常感谢任何帮助。 谢谢你的时间。
bin/spark-submit --class "KafkaSparkStreaming" --master local[4] try/simple-project/target/simple-project-1.0.jar
线程“main”中的exceptionjava.lang.NoClassDefFoundError:org / apache / spark / streaming / kafka / KafkaUtils位于KafkaSparkStreaming.StarkStreamingTest(KafkaSparkStreaming.java:40),位于sun.reflect的KafkaSparkStreaming.main(KafkaSparkStreaming.java:23)。 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)中的NativeMethodAccessorImpl.invoke0(Native Method)位于sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)的java.lang.reflect.Method.invoke(方法。 java:606)org.apache.spark.deploy.SparkSubmit $ .launch(SparkSubmit.scala:303)atg.apache.spark.deploy.SparkSubmit $ .main(SparkSubmit.scala:55)at org.apache.spark .deploy.SparkSubmit.main(SparkSubmit.scala)引起:java.lang.ClassNotFoundException:java.net.URLClassLoader $ 1.run(URLClassLoader.java:366)中的org.apache.spark.streaming.kafka.KafkaUtils
我遇到了同样的问题,我通过构建带依赖关系的jar来解决它。
-
在代码中删除“sc.addJar()”。
-
将下面的代码添加到pom.xml
src/main/java src/test/java maven-assembly-plugin jar-with-dependencies make-assembly package single -
mvn包
-
提交“example-jar-with-dependencies.jar”
为了将来参考,如果你得到一个ClassNotFoundException,如果你搜索“org.apache.spark …”,你将被带到maven页面,它将告诉你你的pom文件中缺少的依赖项。 它还会为您提供放入pom文件的代码。
- Kafka Consumer挂在java的.hasNext
- 带有transactionIdPrefix的DefaultKafkaProducerFactory会在引导服务器关闭时等待
- Apache Kafka:无法更新Metadata / java.nio.channels.ClosedChannelException
- Kafka如何为每个主题存储偏移量?
- Apache Kafka – 关于主题/分区的KafkaStream
- 卡夫卡制作人类未找到例外
- Apache Storm Trident和Kafka Spout Integration
- Kafka:编写自定义序列化程序
- 如何动态地将主题传递给kafka监听器?