Tag: s3 avro

如何使用纯Java生成Parquet文件（包括日期和小数类型）并上传到S3 （无HDFS）

我最近有一个要求，我需要生成Parquet文件，Apache Spark只能使用Java读取（不使用其他软件安装，如：Apache Drill，Hive，Spark等）。 这些文件需要保存到S3，因此我将分享有关如何执行这两项操作的详细信息。 关于如何做到这一点没有简单的指南。 我也不是Java程序员，因此使用Maven，Hadoop等的概念对我来说都是陌生的。 所以我花了将近两周的时间来完成这项工作。 我想在下面分享我的个人指南，了解我是如何实现这一目标的