如何在GroupBy操作后从spark DataFrame列中收集字符串列表？
这里描述的解决方案（通过zero323）非常接近我想要的两个曲折：
- 我如何用Java做到这一点？
- 如果列有一个字符串列表而不是一个字符串，并且我想在GroupBy（其他一些列）之后将所有这些列表收集到一个列表中，该怎么办？
我正在使用Spark 1.6并试图使用
org.apache.spark.sql.functions.collect_list(Column col) ，如该问题的解决方案中所述，但得到以下错误
线程“main”中的exceptionorg.apache.spark.sql.AnalysisException：undefined function collect_list; at org.apache.spark.sql.catalyst.analysis.SimpleFunctionRegistry $$ anonfun $ 2.apply（FunctionRegistry.scala：65）at org.apache.spark.sql.catalyst.analysis.SimpleFunctionRegistry $$ anonfun $ 2.apply（FunctionRegistry。 scala：65）在scala.Option.getOrElse（Option.scala：121）
您看到的错误表明您使用普通的SQLContext而不是HiveContext 。 collect_list是一个Hive UDF，因此需要HiveContext 。 它也不支持复杂列，因此唯一的选择是首先explode ：
import org.apache.spark.api.java.*; import org.apache.spark.SparkConf; import org.apache.spark.sql.SQLContext; import org.apache.spark.sql.hive.HiveContext; import java.util.*; import org.apache.spark.sql.DataFrame; import static org.apache.spark.sql.functions.*; public class App { public static void main(String[] args) { JavaSparkContext sc = new JavaSparkContext(new SparkConf()); SQLContext sqlContext = new HiveContext(sc); List data = Arrays.asList( "{\"id\": 1, \"vs\": [\"a\", \"b\"]}", "{\"id\": 1, \"vs\": [\"c\", \"d\"]}", "{\"id\": 2, \"vs\": [\"e\", \"f\"]}", "{\"id\": 2, \"vs\": [\"g\", \"h\"]}" ); DataFrame df = sqlContext.read().json(sc.parallelize(data)); df.withColumn("vs", explode(col("vs"))) .groupBy(col("id")) .agg(collect_list(col("vs"))) .show(); } }
但它不太可能表现良好。