使用REST优化大批量插入Neo4j

我需要通过REST API的Batch端点将大量节点与它们之间的关系插入Neo4j,大约5k记录/秒(仍在增加)。

这将是24×7的连续插入。 每条记录可能只需要创建一个节点,但其他记录可能需要创建两个节点和一个关系。

我可以通过更改程序或修改Neo4j的设置来提高插入的性能吗?

我到目前为止的进展:

1.我一直在测试Neo4j,但是我无法获得所需的性能

测试服务器盒:24核+ 32GB RAM

Neo4j 2.0.0-M06作为独立服务安装。

在同一台服务器上运行我的Java应用程序。(Neo4j和Java应用程序将来需要在自己的服务器上运行,因此无法使用嵌入式模式)

REST API端点:/ db / data / batch(target:/ cypher)

使用模式索引,约束,MERGE,CREATE UNIQUE。

2.我的架构:

neo4j-sh (0)$ schema ==> Indexes ==> ON :REPLY(created_at) ONLINE ==> ON :REPLY(ids) ONLINE (for uniqueness constraint) ==> ON :REPOST(created_at) ONLINE ==> ON :REPOST(ids) ONLINE (for uniqueness constraint) ==> ON :Post(userId) ONLINE ==> ON :Post(postId) ONLINE (for uniqueness constraint) ==> ==> Constraints ==> ON (post:Post) ASSERT post.postId IS UNIQUE ==> ON (repost:REPOST) ASSERT repost.ids IS UNIQUE ==> ON (reply:REPLY) ASSERT reply.ids IS UNIQUE 

3.我的密码查询和JSON请求

3.1。 当一条记录需要创建单个节点时,作业描述如下所示

 {"method" : "POST","to" : "/cypher","body" : {"query" : "MERGE (child:Post {postId:1001, userId:901})"}} 

3.2。 当一个记录需要创建一个关系的两个节点时,作业描述如下所示

 {"method" : "POST","to" : "/cypher","body" : {"query" : "MERGE (parent:Post {postId:1002, userId:902}) MERGE (child:Post {postId:1003, userId:903}) CREATE UNIQUE parent-[relationship:REPOST {ids:'1002_1003', created_at:'Wed Nov 06 14:06:56 AST 2013' }]->child"}} 

3.3。 我通常每批发送100份职位描述(混合3.1和3.2),大约需要150~250ms才能完成。

4.性能问题

4.1。 并发:

/ db / data / batch(target:/ cypher)似乎不是线程安全的,使用两个或多个并发线程进行测试,这使得Neo4j服务器在第二(s)〜分钟内停止运行。

4.2。 带约束的MERGE并不总是有效。

当使用单个查询创建两个节点和一个关系时(在3.2。中提到),它有时像魅力一样; 但它有时会因CypherExecutionException失败并说其中一个Node xxxx已经存在,标签为aaaa,属性为“bbbbb”= [ccccc]; 根据我的理解,MERGE不会假设返回任何exception,但返回节点(如果它已经存在)。

作为例外的结果,整个批次将失败并回滚,这会影响我的插入率。

我已经在GitHub中为这个问题打开了一个问题, https://github.com/neo4j/neo4j/issues/1428

4.3。 使用约束创建独特并不总是适用于关系创建。

这也在同一个github问题中提到过。

4.4。 性能:

实际上,在我使用cypher批处理之前,我尝试使用get_or_create进行遗留索引(/ db / data / index / node / Post?uniqueness = get_or_create&/ db / data / index / relationship / XXXXX?uniqueness = get_or_create)

由于这些遗留索引端点的性质(它们返回索引中数据的位置而不是实际数据存储中数据的位置),因此我无法在批处理中使用它们(需要先前在同一批次中创建的引用节点的function) )

我知道我可以启用auto_indexing,直接处理数据存储而不是遗留索引,但他们从2.0.0中提到,建议使用模式索引而不是传统索引,所以我决定切换到批处理+密码+模式索引方法。

但是,对于批处理+密码,我每秒只能获得大约200个作业描述插入率,如果带有约束的MERGE始终有效,那么它会高得多,假设大约600~800 / s,但它仍然远低于5k /秒。 我也尝试了没有任何约束的模式索引,它在插入率方面的表现甚至更低。

使用2.0,我将使用事务端点批量创建语句,例如每个http请求100或1000,每个事务大约30k-50k(直到你提交)。

请参阅此内容以获取新的流式,事务性端点的格式:

http://docs.neo4j.org/chunked/milestone/rest-api-transactional.html

此外,对于如此高性能的连续插入端点,我衷心建议编写一个服务器扩展,它将针对嵌入式API运行,并且每秒可以轻松插入10k或更多节点和关系,请参阅此处的文档:

http://docs.neo4j.org/chunked/milestone/server-unmanaged-extensions.html

对于纯插件,您不需要Cypher。 对于并发性,只需锁定一个众所周知的(每个要插入的子图)节点,以便并发插入没有问题,您可以使用tx.acquireWriteLock()或从节点中删除不存在的属性( REMOVE n.__lock__ )。

有关编写非托管扩展(但使用密码的扩展)的另一个示例,请查看此项目。 它甚至有一个可以帮助你的模式(将CSV文件发布到服务器端点,每行使用一个cypher语句执行)。

https://github.com/jexp/cypher-rs