Spark SQL – 如何将DataFrame写入文本文件？

我正在使用Spark SQL来阅读镶木地板和书写镶木地板文件。

但在某些情况下，我需要将DataFrame写为文本文件而不是Json或Parquet。

是否支持任何默认方法或我必须将该DataFrame转换为RDD然后使用saveAsTextFile()方法？

Answer 1

使用Databricks Spark-CSV，您可以直接保存到CSV文件，然后像这样从CSV文件加载

 import org.apache.spark.sql.SQLContext SQLContext sqlContext = new SQLContext(sc); DataFrame df = sqlContext.read() .format("com.databricks.spark.csv") .option("inferSchema", "true") .option("header", "true") .load("cars.csv"); df.select("year", "model").write() .format("com.databricks.spark.csv") .option("header", "true") .option("codec", "org.apache.hadoop.io.compress.GzipCodec") .save("newcars.csv"); 

Answer 2

 df.repartition(1).write.option("header", "true").csv("filename.csv")