Tag: cassandra 2.0

为什么Apache Spark在客户端上执行filter

作为新手上的apache引发了一些关于在Spark上获取Cassandra数据的问题。 List dates = Arrays.asList(“2015-01-21″,”2015-01-22”); CassandraJavaRDD aRDD = CassandraJavaUtil.javaFunctions(sc). cassandraTable(“testing”, “cf_text”,CassandraJavaUtil.mapRowTo(A.class, colMap)). where(“Id=? and date IN ?”,”Open”,dates); 此查询不过滤cassandra服务器上的数据。 虽然这个java语句正在执行它的内存并最终抛出spark java.lang.OutOfMemoryErrorexception。 查询应该过滤掉cassandra服务器而不是客户端上的数据，如https://github.com/datastax/spark-cassandra-connector/blob/master/doc/3_selection.md所述 。 虽然我正在使用cassandra cqlsh上的filter执行查询，但它执行正常但执行查询而没有filter（where子句）正在给出预期的超时。 因此很明显，火花并没有在客户端应用filter。 SparkConf conf = new SparkConf(); conf.setAppName(“Test”); conf.setMaster(“local[8]”); conf.set(“spark.cassandra.connection.host”, “192.168.1.15”) 为什么在客户端应用filter以及如何改进它以在服务器端应用filter。 我们如何在Windows平台上的cassandra集群上配置spark集群？

Cassandra如何选择节点发送请求？

想象一下，客户端应用程序需要访问Cassandra集群。 在Java api中，我们创建一个集群实例并通过Session发送读或写请求。 如果我们使用读/写一致性ONE，api如何选择实际节点（协调器节点）以转发请求。 这是随机选择吗？ 请帮助解决这个问题。

Spark提交失败，包含java.lang.NoSuchMethodError：scala.Predef $。$ conforms（）Lscala / Predef $$ less $ colon $ less;

我正在使用spark 1.3.1 prebuild version spark-1.3.1-bin-hadoop2.6.tgz 线程“main”中的exceptionjava.lang.NoSuchMethodError：scala.Predef $。$ conforms（）Lscala / Predef $$ less $ colon $ less; org.apache.spark.util.Utils $ .getSystemProperties（Utils.scala：1418）org.apache.spark.SparkConf。（SparkConf.scala：58）org.apache.spark.SparkConf。（SparkConf.scala： 52）在com.zoho.zbi.Testing.test（Testing.java:43）com.zoho.zbi.Testing.main（Testing.java:39）使用Spark的默认log4j配置文件：org / apache / spark / log4j- defaults.properties 我正在尝试一个简单的演示应用程序来保存到cassandra SparkConf batchConf= new SparkConf() .setSparkHome(sparkHome) .setJars(jars) .setAppName(ZohoBIConstants.getAppName(“cassandra”))//NO I18N .setMaster(master).set(“spark.cassandra.connection.host”, “localhost”); JavaSparkContext sc = new JavaSparkContext(batchConf); // here we are going to save some data to Cassandra… List […]