Tag: csv

如何将CSV文件拆分为多个块并在Java代码中并行读取这些块: 我有一个非常大的CSV文件（1GB +），它有100,000行。我需要编写一个Java程序来解析CSV文件中的每一行，以便为HTTP请求发送一个主体。换句话说，我需要发送100,000个HTTP请求，这些请求对应于CSV文件中的行。如果我在一个线程中执行这些操作将会很长。我想创建1,000个线程来执行i）从CSV文件中读取一行，ii）创建一个HTTP请求，其主体包含读取行的内容，以及iii）发送HTTP请求并接收响应。这样，我需要将CSV文件拆分为1,000个块，并且这些块之间应该没有重叠的行。这种分裂程序的最佳方法是什么？

使用python将CSV文件转换为LIBSVM兼容数据文件: 我正在使用libsvm做一个项目，我正在准备我的数据来使用lib。如何将CSV文件转换为LIBSVM兼容数据？ CSV文件： https ： //github.com/scikit-learn/scikit-learn/blob/master/sklearn/datasets/data/iris.csv 在频率问题中：如何将其他数据格式转换为LIBSVM格式？这取决于您的数据格式。一种简单的方法是在libsvm matlab / octave接口中使用libsvmwrite。以UCI机器学习库中的CSV（逗号分隔值）文件为例。我们下载SPECTF.train。标签位于第一列。以下步骤以libsvm格式生成文件。 matlab> SPECTF = csvread(‘SPECTF.train’); % read a csv file matlab> labels = SPECTF(:, 1); % labels from the 1st column matlab> features = SPECTF(:, 2:end); matlab> features_sparse = sparse(features); % features must be in a sparse matrix matlab> […]

Java CSV文件解析不会在末尾解析空列: 我正在解析一个CSV文件，但是有一行是最后9列是空的，而用逗号分割的字符串会忽略剩余的空列。这是代码来演示这个： String s=”L2,,,,,,,,,,,,,,,,,,108.50,-188.04,,,,,,,,,”; String[] columns = s.split(“,”); System.out.println(columns.length); 列的大小是20，当它应该是29.任何想法？

将逗号分隔的字符串添加到ArrayList，反之亦然: 如何将逗号分隔的字符串添加到ArrayList？我的字符串“returnedItems”可能包含1或20个项目，我想将其添加到我的ArrayList“selItemArrayList”中。在填充ArrayList之后，我想稍后迭代它并将项目格式化为逗号分隔的字符串，项目之间没有空格。

如何以csv格式输出hadoop结果: 我需要以.csv格式输出我的hadoop结果。我该怎么做？我的代码： https ： //github.com/studhadoop/xml/blob/master/XmlParser11.java 我应该在我的代码中简单地包含csvoutputFormat。我正在使用mapreduce API myjob.sh bin/hadoop jar /var/root/ALA/ala_jar/clsperformance.jar ala.clsperf.ClsPerf /user/root/ala_xmlrpt/Amrita\ Vidyalayam\,\ Karwar_Class\ 1\ B_ENG.xml /user/root/ala_xmlrpt-outputshell4 bin/hadoop fs -get /user/root/ala_xmlrpt-outputshell4/part-r-00000 /Users/jobsubmit cat /Users/jobsubmit/part-r-00000 /Users/jobsubmit/output.csv 解我失踪了>在猫 cat /Users/jobsubmit/part-r-00000> /Users/jobsubmit/output.csv

将CSV值转换为JAVA中的HashMap键值对: 我有一个名为test.csv的csv。我试图逐行读取csv并将值转换为哈希键值对。这是代码： – public class Example { public static void main(String[] args) throws ParseException, IOException { // TODO Auto-generated method stub BufferedReader br = new BufferedReader(new FileReader(“test.csv”)); String line = null; HashMap map = new HashMap(); while((line=br.readLine())!=null){ String str[] = line.split(“,”); for(int i=0;i<str.length;i++){ String arr[] = str[i].split(":"); map.put(arr[0], arr[1]); } } System.out.println(map); } } […]

生成的csv文件中不需要的双引号: 我使用下面的Java代码创建了一个CSV文件： String csv = rs.getString(“UPLOAD_FOLDER_PATH”)+”.csv”; CSVWriter writer = new CSVWriter(new FileWriter(csv)); String [] filevalues = new String[filevaluesarray.size()]; filevalues=filevaluesarray.toArray(filevalues); writer.writeNext(filevalues); writer.close(); 我收到了CSV文件，但该文件的内容包含不需要的双引号。例如。 “ABC”， “123”， “KDNJ” 我不会从这些双引号添加的地方得到。

使用JAVA从CSV文件中读取列: 嗨，我正在尝试在JAVA中读取名为test.csv的CSV文件。以下是我的代码： import java.io.BufferedReader; import java.io.FileReader; public class InsertValuesIntoTestDb { @SuppressWarnings(“rawtypes”) public static void main(String[] args) throws Exception { String splitBy = “,”; BufferedReader br = new BufferedReader(new FileReader(“test.csv”)); String line = br.readLine(); while(line!=null){ String[] b = line.split(splitBy); System.out.println(b[0]); } br.close(); } } 这是我的CSV文件（test.csv）： a,f,w,b,numinst,af,ub 1RW,800,64,22,1,48:2,true 1RW,800,16,39,1,48:2,true 1RW,800,640,330,1,48:2,true 1RW,800,40,124,1,48:2,true 1RW,800,32,104,1,48:2,true 1RW,800,8,104,1,48:2,true 1R1W,800,65536,39,1,96:96,true 1R1W,800,2048,39,1,96:96,true 1R1W,800,8192,39,1,48:48,true 我试图打印csv中的第一列，但我得到的输出只是a无限循环。 […]

通过JDBC在CSV文件上执行SQL: 我需要将SQL查询应用于CSV文件（逗号分隔的文本文件）。我的SQL是从其他工具预定义的，不符合更改条件。它可能包含FROM部分中的嵌入式选择和表别名。对于我的任务，我发现了两个提供JDBC驱动程序的开源（这是一个项目需求）库： CsvJdbc XlSQL JBoss Teiid 创建Apache Derby DB，将所有CSV加载为表并执行查询。这些是我遇到的问题：它不接受SQL的语法（它使用内部选择和表别名）。此外，它自2004年以来一直没有得到维护。我无法让它工作，因为它具有SAX Parser的依赖性，在解析其他文档时会导致exception。同样，自2004年以来没有变化。没有检查它是否支持语法，但似乎是一个开销。它需要几个实体定义（虚拟数据库，绑定）。从邮件列表中，他们告诉我，上一版本支持运行时创建所需对象。有没有人用它来完成这么简单的任务（通常它可以连接到几种类型的数据，如CSV，XML或其他DBS，并创建一个虚拟的统一数据）？这甚至可以轻松完成吗？从我考虑/试过的4件事中，只有3件和4件对我来说是可行的。有关这些或任何其他方式我可以查询我的CSV文件的任何建议吗？干杯

用于从CSV文件创建对象的Java API: 我正在寻找一个允许我将.csv内容映射到对象的库。就像是： public class Person { private String name; private int age; @CsvField(“name”) public String getName() { return this.name; } @CsvField(“age”) public int getAge() { return this.age; } } 然后说出类似的话： final Person filledWithDataFromCsv = csvApi.load(csvFilepath, Person.class); 来自给定的CSV： #name, age tom, 11 jim, 32 有没有人知道这样的API，或者做类似的事情。我不希望它使用注释作为必须，我只是希望能够使用一行代码和预定义的类加载文件。