如何分析~13GB的数据？
我有大约300个文本文件，其中包含跟踪器，种子和同伴的数据。 每个文件的组织方式如下：
tracker.txt
time torrent time peer time peer ... time torrent ... 我有每个跟踪器的几个文件，并且重复了大部分信息（相同的信息，不同的时间）。
我希望能够分析我所拥有的内容并报告类似的事情
- 每个跟踪器有多少种子
- 有多少跟踪器是列出的种子
- 种子有多少同伴
- 对同龄人有多少种洪流
数据的庞大数量使我难以接受。 这是我尝试过的。
MySQL的
我把所有东西都放进了数据库; 每个实体类型一个表和用于保存关系的表（例如，此torrent在此跟踪器上）。
将信息添加到数据库的速度很慢（当我尝试这个时，我没有13GB的信息），但之后分析关系是不行的。 每个稍微复杂的查询都需要24小时才能完成（如果有的话）。
示例查询将是：
SELECT COUNT(DISTINCT torrent) FROM TorrentAtPeer, Peer WHERE TorrentAtPeer.peer = Peer.id GROUP BY Peer.ip;
我尝试在my.cnf文件中增加内存分配，但似乎没有帮助。 我使用了my-innodb-heavy-4G.cnf设置文件。
编辑：添加表格详细信息
这是我使用的：
Peer Torrent Tracker ----------- ----------------------- ------------------ id (bigint) id (bigint) id (bigint) ip* (int) infohash* (varchar(40)) url (varchar(255)) port (int) TorrentAtPeer TorrentAtTracker ----------------- ---------------- id (bigint) id (bigint) torrent* (bigint) torrent* (bigint) peer* (bigint) tracker* (bigint) time (int) time (int) *indexed field. Navicat reports them as being of normal type and Btree method. id - Always the primary key
没有外键。 我有信心只使用与现有实体相对应的ID，添加外键检查似乎是一种不必要的延迟。 这天真吗？
MATLAB
这看起来像是为一些繁重的工作而设计的应用程序，但是我无法分配足够的内存来一次性保存所有数据。
我没有数字数据所以我使用的是单元格数组，我从这些数据移动到尝试以减少占用空间。 我无法让它发挥作用。
Java的
到目前为止我最成功的尝试。 我找到了Limewire的人们提供的Patricia Tries的实现。 使用这个我能够读入数据并计算我有多少个独特的实体：
- 13个跟踪器
- 170万个种子
- 32个百分点的同行
我仍然觉得很难弄清楚同龄人的种子数量。 我试图通过构建这样的尝试来做到这一点：
Trie<String, Trie> peers = new Trie<String, Trie>(...); for (String line : file) { if (containsTorrent(line)) { infohash = getInfohash(line); } else if (containsPeer(line)) { Trie torrents = peers.get(getPeer(line)); torrents.put(infohash, null); } }
从我迄今为止所做的工作来看，如果我可以将这些peers建成，那么我可以很容易地找出每个同伴有多少种子。 昨天我把它全部运行了，当我回来时，我注意到日志文件没有被写入，I ^Z应用程序和time报告如下：
real 565m41.479s user 0m0.001s sys 0m0.019s
如果用户和系统如此之低，这对我来说并不合适？ 我应该提一下，我还将JVM的堆大小增加到7GB（最大值和启动量），没有这样我很快就会出现内存不足错误。
我不介意等待几个小时/天，但看起来这件事在大约10个小时后就停止了。
我想我的问题是，我该如何分析这些数据呢？ 我尝试过的东西是正确的吗？ 有什么我想念的吗？ 到目前为止，Java解决方案似乎是最好的，有什么办法可以让它工作吗？
我会给MySQL另一个尝试，但使用不同的架构：
- 不要在这里使用id-columns
-
在这里使用自然主键：
同行 ：ip，端口
洪流 ：infohash
追踪者 ：url
TorrentPeer ：peer_ip，torrent_infohash，peer_port，time
TorrentTracker ：tracker_url，torrent_infohash，时间 -
对所有表使用innoDB引擎
这有几个好处：
- InnoDB使用聚簇索引作为主键。 意味着当您仅从主键列请求数据时，可以直接从索引检索所有数据而无需额外查找。 所以InnoDB表是一些索引组织的表。
- 较小的尺寸，因为您不必存储代理键。 – >速度，因为较小的IO为相同的结果。
- 您现在可以在不使用（昂贵）连接的情况下进行一些查询，因为您使用自然的主键和外键。 例如，链接表
TorrentAtPeer直接包含peer ip作为对等表的外键。 如果需要查询子网中对等体使用的种子，现在可以在不使用连接的情况下执行此操作，因为所有相关数据都在链接表中。
如果你想要每个对等体的种子数量，并且你想要结果中的对等体ip，那么我们在这里使用自然主/外键时再次具有优势。
使用您的架构，您必须加入以检索IP：
SELECT Peer.ip, COUNT(DISTINCT torrent) FROM TorrentAtPeer, Peer WHERE TorrentAtPeer.peer = Peer.id GROUP BY Peer.ip;
使用自然主/外键：
SELECT peer_ip, COUNT(DISTINCT torrent) FROM TorrentAtPeer GROUP BY peer_ip;
编辑嗯，原始发布的架构不是真正的。 现在Peer表有一个port字段。 我建议在这里使用主键（ip，port）并仍然删除id列。 这也意味着链接表需要具有多列外键。 调整答案……
您声明您的MySQL查询花了太长时间。 您是否确保有适当的索引来支持您提交的请求？ 在您的示例中，这将是Peer.ip的索引（甚至是嵌套索引(Peer.ip,Peer.id) ）和TorrentAtPeer.peer的索引。
据我了解Java结果，你有很多数据，但没有那么多不同的字符串。 所以你可以通过为每个跟踪器，torrent和peer分配一个唯一的号码来节省一些时间。 每个都使用一个表，其中一些索引值保存字符串，数字主键作为id。 这样，与这些实体相关的所有表格只需要处理这些数字，这可以节省大量空间并使您的操作更快。
如果你可以使用C ++，你应该看看Boost flyweight 。
使用flyweight，您可以像编写字符串一样编写代码，但字符串的每个实例（跟踪器名称等）仅使用指针的大小。
无论语言如何，您都应该将IP地址转换为int（看一下这个问题 ）以节省更多内存。
您很可能遇到可以通过NOSQL和分布式技术解决的问题。
i）我会使用Hadoop / HBase编写分布式系统。
ii）租几台/几百台AWS机器，但只持续几秒钟（它仍然会花费你不到0.50美元）
iii）利润!!!