Tag: csv

Spring批处理从文件中检索对象列表并在输出文件中返回单行

我使用spring batch读取CSV文件作为输入,我有2个CSV文件作为输出。 第一个文件包含大约100行。 输入文件包含5个colones id,typeProduct和price。 我只有两种类型的产品 我遍历所有这些行,我写了两个输出文件。 对于这两个文件,包含产品类型的单行和具有相同类型的所有这些产品的价格总和。 所以我需要在写入输出文件之前。 我希望得到一个列表中的所有行来创建条件并向我的对象添加一个新属性,例如结果if sum> 5000将取得好的值,其他将不会很好。例如。 并将它们显示在文件中存在的输出行中 这是我的产品 public class Product { private Long idt; private String typeProduct; private Double price; private String result; } 这是我工作的定义 这是分类器方法 public class ExampleWriterRouteImpl { @Classifier public String classify(Product batch){ if(batch.getTypeProduct().equals(“Telephone”)) return “tel”; else if(batch.getTypeProduct()).equals(“PC”))) return “pc”; return null; } } 因此,我需要对所有具有相同类型的产品求和,并且只有一个单独的输出行,其中包含产品类型以及每个输出文件的价格和结果的总和。 我不知道如何检索这些对象的列表,并在最后只检索一行。 […]

需要将多个columNames映射到Univocity中的单个字段

class MyPOJO implements Serializable { private static final long serialVersionUID = 1L; @Parsed(field = “UniqueCode”) private String code; @Parsed(field = “Name”) private String name; @Parsed(field = “dogId”) private String someOtherId; //——Getters and Setters——- public String getCode() { return code; } public void setCode(String code) { this.code = code; } public String getName() { return name; […]

在java中获取csv文件维度的最快方法是什么

我在获取csv文件的维度任务时的常规过程如下: 获取它有多少行: 我使用while循环读取每一行,并通过每次成功读取计数。 缺点是读取整个文件需要花费时间来计算它有多少行。 然后得到它有多少列:我使用String[] temp = lineOfText.split(“,”); 然后采取临时的大小。 有更聪明的方法吗? 喜欢: file1 = read.csv; xDimention = file1.xDimention; yDimention = file1.yDimention;

Hadoop中的CSV处理

我在csv文件中有6个字段: 首先是学生姓名( String ) 其他是学生的标记,如主题1,主题2等 我在java中编写mapreduce ,用逗号分割所有字段,并在键中发送学生姓名,并在地图值中标记。 在reduce我正在处理他们输出密钥中的学生姓名和theres标记加上减去的总值,平均值等。 我认为可能有一种替代的,更有效的方法来做到这一点。 有没有人知道更好的方法来做这些操作? 是否有任何内置function的hadoop可以按学生姓名分组,并且可以计算与该学生相关的总分和平均值?

Android读取大文件

我在assets文件夹中有一个包含10000多行数据的CSV文件。 我想在创建数据库时将此数据插入到SQLite数据库中。 我不能包含数据库,因为它是一个非常通用的应用程序,而且该模型需要CSV文件。 我不想读取所有10000行数据并将其从内存中插入一段。 如何有效地完成任务?

Java:检测给定字符编码的不可显示字符

我目前正在开发一个应用程序来validation和解析CSV文件。 CSV文件必须以UTF-8编码,尽管有时我们会以错误编码方式获取文件。 CSV文件很可能包含德语字母(Ä,Ö,Ü,ß)的特殊字符,因为CSV文件中的大多数文本都是德语。 对于validation器的一部分,我需要确保该文件是UTF-8编码的。 只要不存在特殊字符,解析时很可能没有问题。 到目前为止我所尝试的是将文件作为字节读取并使用一些库来检测(或猜测)编码。 我尝试了这篇博文的大部分可能性: http : //fredeaker.blogspot.com/2007/01/character-encoding-detection.html 但我尝试的所有库都没有返回正确的编码,因此我无法解析特殊字符。 现在问我的问题:有没有办法确定像UTF-8这样的给定字符编码来检测未正确编码的字符? 所以基本上(Eclipse)控制台中显示的字符作为问号标记。 或者有没有其他方法来正确确定字符编码? 我只需要知道它是否是UTF-8。 提前谢谢大家的帮助! 🙂 最诚挚的问候,罗伯特

Java – 从第二行开始读取文本文件

我试图在java中读取一个txt文件。 但是,我只想从第二行开始读取,因为第一行只是一个标签。 这是一个例子 文本文件: Name,Type,Price Apple,Fruit,3 Orange,Fruit,2 Lettuce,Veggie,1 我该怎么做呢? 我有这个代码,你可以从第一行读取。 码: //read the file, line by line from txt File file = new File(“train/traindata.txt”); FileReader fr = new FileReader(file); BufferedReader br = new BufferedReader(fr); String line; line = br.readLine(); while(line != null) { lines = line.split(“,”); //Do something for line here //Store the data read […]

如何从csv文件生成java类

我有多个包含大约200到300列的csv文件,我需要使用一对一的映射创建pojos(列也是java类字段)。 别担心不推荐的事实。 如果您知道某个工具或如何自动执行此操作,请投入。 所以你有一个csv文件,包含数千个包含数百列的行,第一行包含列的标题。 所以我需要的是,基于第一行(列的标题)来创建一个包含这些标题作为类字段的java类。 别介意实际数据。 我只需要一个包含这些字段的java类 关于这个post有一个问题,但大约在3年前被问过,所以我想已经过时了。

如何读取文本文件中字符串数据的特定位置

我正在处理一个包含多达一千行的文本文件。 一个文本文件中有多个页眉和页脚。 所以我不需要处理包含@h和@f的行。 它告诉我事务的开始和结束(数据库事务,我将在一个事务中将这些记录保存到DB)。 样本记录如下。 虽然这条线达到了一千行而且列数达到了40列。 从每一行我只寻找一个特定的数据,即(例如,我需要从位置8到30,从位置60到67年等等获得名称)。 该位置可能是下一个空格或字符串之间。 所以我不想把每一行的数据放到缓冲区/内存中来处理它,因为我只对它们中的一些感兴趣。 CSV文件是否允许从一行中的特定位置获取数据? 我应该使用什么来获得更好的性能(尽可能快地处理数据而不占用太多内存。)? 我正在使用Java @h Header @074VH01MATT TARA A5119812073921 RONG HI DE BET IA76200 201108222 0500 * @074VH01KAYT DJ A5119812073921 RONG DED CR BET IA71200 201108222 0500 * @f Footer @h Header @074VH01MATT TARA A5119812073921 RONG HI DE BET IA76200 201108222 0500 * @074VH01KAYT DJ A5119812073921 RONG […]

如何将HashMap写入CSV?

我有一个方法countOcc()打印一个列表(如下)。 1:00 ==> 1 hits(s) 2:00 ==> 4 hits(s) 3:00 ==> 3 hits(s) 4:00 ==> 6 hits(s) 5:00 ==> 14 hits(s) 6:00 ==> 26 hits(s) 7:00 ==> 16 hits(s) 8:00 ==> 25 hits(s) 9:00 ==> 34 hits(s) 10:00 ==> 39 hits(s) 11:00 ==> 33 hits(s) 12:00 ==> 50 hits(s) 13:00 ==> 49 hits(s) 14:00 ==> […]