中大结果集上的Hibernate，JDBC和Java性能

问题

我们正在尝试优化我们的dataserver应用程序。 它通过mysql数据库存储股票和报价。 我们对提取性能不满意。

上下文

- database - table stock : around 500 lines - table quote : 3 000 000 to 10 000 000 lines - one-to-many association : one stock owns n quotes - fetching around 1000 quotes per request - there is an index on (stockId,date) in the quote table - no cache, because in production, querys are always different - Hibernate 3 - mysql 5.5 - Java 6 - JDBC mysql Connector 5.1.13 - c3p0 pooling 

测试和结果

协议

• 通过在mysql命令行bin中运行生成的sql查询，可以获得mysql服务器上的执行时间。
• 服务器处于测试环境中：没有其他数据库读数，没有数据库写入
• 我们为AAPL股票获得857报价

案例1：Hibernate与关联

这用857引号对象填充我们的stock对象（所有内容都在hibernate.xml中正确映射）

 session.enableFilter("after").setParameter("after", 1322910573000L); Stock stock = (Stock) session.createCriteria(Stock.class). add(Restrictions.eq("stockId", stockId)). setFetchMode("quotes", FetchMode.JOIN).uniqueResult(); 

SQL生成：

 SELECT this_.stockId AS stockId1_1_, this_.symbol AS symbol1_1_, this_.name AS name1_1_, quotes2_.stockId AS stockId1_3_, quotes2_.quoteId AS quoteId3_, quotes2_.quoteId AS quoteId0_0_, quotes2_.value AS value0_0_, quotes2_.stockId AS stockId0_0_, quotes2_.volume AS volume0_0_, quotes2_.quality AS quality0_0_, quotes2_.date AS date0_0_, quotes2_.createdDate AS createdD7_0_0_, quotes2_.fetcher AS fetcher0_0_ FROM stock this_ LEFT OUTER JOIN quote quotes2_ ON this_.stockId=quotes2_.stockId AND quotes2_.date > 1322910573000 WHERE this_.stockId='AAPL' ORDER BY quotes2_.date ASC 

结果：

• mysql服务器上的执行时间： ~10 ms
• Java中的执行时间： ~400ms

案例2：没有HQL而没有关联的Hibernate

为了提高性能，我们使用了仅获取引号对象的代码，并将它们手动添加到库存中（因此我们不会获取有关每行的库存的重复信息）。 我们使用createSQLQuery来最小化别名和HQL混乱的影响。

 String filter = " AND q.date>1322910573000"; filter += " ORDER BY q.date DESC"; Stock stock = new Stock(stockId); stock.addQuotes((ArrayList) session.createSQLQuery("select * from quote q where stockId='" + stockId + "' " + filter).addEntity(Quote.class).list()); 

SQL生成：

 SELECT * FROM quote q WHERE stockId='AAPL' AND q.date>1322910573000 ORDER BY q.date ASC 

结果：

• mysql服务器上的执行时间： ~10 ms
• Java中的执行时间： ~370ms

案例3：没有Hibernate的JDBC

 String filter = " AND q.date>1322910573000"; filter += " ORDER BY q.date DESC"; Stock stock = new Stock(stockId); Connection conn = SimpleJDBC.getConnection(); Statement stmt = conn.createStatement(); ResultSet rs = stmt.executeQuery("select * from quote q where stockId='" + stockId + "' " + filter); while(rs.next()) { stock.addQuote(new Quote(rs.getInt("volume"), rs.getLong("date"), rs.getFloat("value"), rs.getByte("fetcher"))); } stmt.close(); conn.close(); 

结果：

• mysql服务器上的执行时间： ~10 ms
• Java中的执行时间： ~100ms

我们的理解

• JDBC驱动程序对所有情况都是通用的
• JDBC驱动有一个基本的时间成本
• 使用类似的SQL查询，Hibernate在转换对象中的结果集时比纯JDBC代码花费更多时间
• Hibernate createCriteria，createSQLQuery或createQuery的时间成本相似
• 在生产中，我们同时进行大量编写，纯JDBC解决方案似乎比hibernate解决方案慢（可能是因为我们的JDBC解决方案没有被合并）
• Mysql明智的，服务器似乎表现得很好，而且时间成本是非常可以接受的

我们的问题

• 有没有办法优化JDBC驱动程序的性能？
• Hibernate会使这种优化受益吗？
• 有没有办法在转换结果集时优化Hibernate性能？
• 由于Java基础对象和内存管理，我们是否面临不可调整的问题？
• 我们是否缺少一点，我们是愚蠢的，所有这一切都是徒劳的吗？
• 我们是法国人吗？ 是。

非常欢迎您的帮助。

Answer 1

您可以使用简单查询进行冒烟测试，例如：

 SELECT current_timestamp() 

要么

 SELECT 1 + 1 

这将告诉您实际的JDBC驱动程序开销是多少。 还不清楚两个测试是否都是在同一台机器上进行的。

有没有办法优化JDBC驱动程序的性能？

用Java运行相同的查询几千次。 JVM需要一些时间进行预热（类加载，JIT）。 此外，我假设SimpleJDBC.getConnection()使用C3P0连接池 – 建立连接的成本非常高，因此首先执行可能很慢。

也更喜欢命名查询到临时查询或条件查询。

Hibernate会使这种优化受益吗？

Hibernate是一个非常复杂的框架。 正如您所看到的，与原始JDBC相比，它占用总执行时间的75％。 如果你需要原始的ORM（没有延迟加载，脏检查，高级缓存），请考虑mybatis 。 或者甚至可能是带有RowMapper抽象的JdbcTemplate 。

有没有办法在转换结果集时优化Hibernate性能？

并不是的。 查看第19章。在Hibernate文档中提高性能 。 那里发生了很多反思+阶级生成。 再次，当您想要从数据库中挤出每毫秒时，Hibernate可能不是最佳解决方案。

但是 ，如果您希望通过广泛的缓存支持来增加整体用户体验，那么这是一个不错的选择。 再次查看性能文档。 它主要讨论缓存。 有一级缓存，二级缓存，查询缓存…这是Hibernate实际上可以胜过简单JDBC的地方 – 它可以以你甚至无法想象的方式缓存很多东西。 另一方面 – 缓存配置不佳会导致设置更慢。

退房： 使用Hibernate + Spring缓存 – 一些问题！

由于Java基础对象和内存管理，我们是否面临不可调整的问题？

JVM（特别是在服务器配置中）非常快。 堆上的对象创建与例如C中的堆栈一样快，垃圾收集已经大大优化。 我认为运行普通JDBC的Java版本与更多本机连接相比会慢得多。 这就是为什么我建议您的基准测试没有什么改进。

我们是否缺少一点，我们是愚蠢的，所有这一切都是徒劳的吗？

我相信如果性能是您最大的问题，JDBC是一个不错的选择。 Java已成功用于许多数据库繁重的应用程序中。