Java内存不足exception
我在Tomcat中运行Java Web应用程序。 该应用程序使用Quartz框架定期调度cron作业。 这个cron工作涉及解析4+ MB xml文件，我正在使用JDOM API。 xml文件包含大约3600个要解析的节点，因此要在DB中更新数据，我按顺序执行此操作。
在解析了几乎一半的文件后，我的应用程序抛出了内存不足exception。 堆栈跟踪是：
Exception in thread "ContainerBackgroundProcessor[StandardEngine[Catalina]]" java.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOfRange(Arrays.java:3210) at java.lang.String.(String.java:216) at java.lang.StringBuffer.toString(StringBuffer.java:585) at org.netbeans.lib.profiler.server.ProfilerRuntimeMemory.traceVMObjectAlloc(ProfilerRuntimeMemory.java:170) at java.lang.Throwable.getStackTraceElement(Native Method) at java.lang.Throwable.getOurStackTrace(Throwable.java:590) at java.lang.Throwable.getStackTrace(Throwable.java:582) at org.apache.juli.logging.DirectJDKLog.log(DirectJDKLog.java:155) at org.apache.juli.logging.DirectJDKLog.error(DirectJDKLog.java:135) at org.apache.catalina.core.ContainerBase$ContainerBackgroundProcessor.processChildren(ContainerBase.java:1603) at org.apache.catalina.core.ContainerBase$ContainerBackgroundProcessor.processChildren(ContainerBase.java:1610) at org.apache.catalina.core.ContainerBase$ContainerBackgroundProcessor.run(ContainerBase.java:1590) at java.lang.Thread.run(Thread.java:619) Exception in thread "*** JFluid Monitor thread ***" java.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOf(Arrays.java:2760) at java.util.Arrays.copyOf(Arrays.java:2734) at java.util.Vector.ensureCapacityHelper(Vector.java:226) at java.util.Vector.add(Vector.java:728) at org.netbeans.lib.profiler.server.Monitors$SurvGenAndThreadsMonitor.updateSurvGenData(Monitors.java:230) at org.netbeans.lib.profiler.server.Monitors$SurvGenAndThreadsMonitor.run(Monitors.java:169) Nov 30, 2009 2:22:05 PM org.apache.catalina.core.ContainerBase$ContainerBackgroundProcessor processChildren SEVERE: Exception invoking periodic operation: java.lang.OutOfMemoryError: Java heap space at java.lang.StringCoding$StringEncoder.encode(StringCoding.java:232) at java.lang.StringCoding.encode(StringCoding.java:272) at java.lang.String.getBytes(String.java:946) at java.io.UnixFileSystem.getLastModifiedTime(Native Method) at java.io.File.lastModified(File.java:826) at org.apache.catalina.startup.HostConfig.checkResources(HostConfig.java:1175) at org.apache.catalina.startup.HostConfig.check(HostConfig.java:1269) at org.apache.catalina.startup.HostConfig.lifecycleEvent(HostConfig.java:296) at org.apache.catalina.util.LifecycleSupport.fireLifecycleEvent(LifecycleSupport.java:118) at org.apache.catalina.core.ContainerBase.backgroundProcess(ContainerBase.java:1337) at org.apache.catalina.core.ContainerBase$ContainerBackgroundProcessor.processChildren(ContainerBase.java:1601) at org.apache.catalina.core.ContainerBase$ContainerBackgroundProcessor.processChildren(ContainerBase.java:1610) at org.apache.catalina.core.ContainerBase$ContainerBackgroundProcessor.run(ContainerBase.java:1590) at java.lang.Thread.run(Thread.java:619) ERROR [JobRunShell]: Job updateVendorData.quoteUpdate threw an unhandled Exception: java.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOfRange(Arrays.java:3210) at java.lang.String.(String.java:216) at java.lang.StringBuffer.toString(StringBuffer.java:585) at org.apache.commons.dbcp.PoolingConnection$PStmtKey.hashCode(PoolingConnection.java:296) at java.util.HashMap.get(HashMap.java:300) at org.apache.commons.pool.impl.GenericKeyedObjectPool.decrementActiveCount(GenericKeyedObjectPool.java:1085) at org.apache.commons.pool.impl.GenericKeyedObjectPool.returnObject(GenericKeyedObjectPool.java:882) at org.apache.commons.dbcp.PoolablePreparedStatement.close(PoolablePreparedStatement.java:80) at org.apache.commons.dbcp.DelegatingStatement.close(DelegatingStatement.java:168) at com.netcore.smsapps.stock.db.CompanyDaoImpl.updateCompanyQuote(CompanyDaoImpl.java:173) at com.netcore.smsapps.stock.vendor.MyirisVendor.readScripQuotes(MyirisVendor.java:159) at com.netcore.smsapps.stock.update.StockUpdateData.execute(StockUpdateData.java:38) at org.quartz.core.JobRunShell.run(JobRunShell.java:207) at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:525) DEBUG [ExceptionHelper]: Detected JDK support for nested exceptions. ERROR [ErrorLogger]: Job (updateVendorData.quoteUpdate threw an exception. org.quartz.SchedulerException: Job threw an unhandled exception. [See nested exception: java.lang.OutOfMemoryError: Java heap space] at org.quartz.core.JobRunShell.run(JobRunShell.java:216) at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:525) Caused by: java.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOfRange(Arrays.java:3210) at java.lang.String.(String.java:216) at java.lang.StringBuffer.toString(StringBuffer.java:585) at org.apache.commons.dbcp.PoolingConnection$PStmtKey.hashCode(PoolingConnection.java:296) at java.util.HashMap.get(HashMap.java:300) at org.apache.commons.pool.impl.GenericKeyedObjectPool.decrementActiveCount(GenericKeyedObjectPool.java:1085) at org.apache.commons.pool.impl.GenericKeyedObjectPool.returnObject(GenericKeyedObjectPool.java:882) at org.apache.commons.dbcp.PoolablePreparedStatement.close(PoolablePreparedStatement.java:80) at org.apache.commons.dbcp.DelegatingStatement.close(DelegatingStatement.java:168) at com.netcore.smsapps.stock.db.CompanyDaoImpl.updateCompanyQuote(CompanyDaoImpl.java:173) at com.netcore.smsapps.stock.vendor.MyirisVendor.readScripQuotes(MyirisVendor.java:159) at com.netcore.smsapps.stock.update.StockUpdateData.execute(StockUpdateData.java:38) at org.quartz.core.JobRunShell.run(JobRunShell.java:207) 这甚至导致我的tomcat崩溃。 你能帮我诊断一下这个问题。 我甚至已经在Netbeans中启用了相同的分析，但似乎即使崩溃了。 我保留了分配给Tomcat的默认内存。 是否有任何内存泄漏发生。 我的DB是postgres，JDK是1.6.0_15。
谢谢，阿米特
尝试增加JVM的ram分配。 它应该有所帮助。
修复eclipse：你可以在eclipse偏好中配置如下
- Windows – > Preferences（在mac上：eclipse – > preferences）
- Java – >已安装的JRE
- 选择JRE并单击Edit
- 在默认VM参数字段中键入-Xmx1024M。 （或者你的记忆偏好，对于1 gb的ram是1024）
- 点击完成或确定。
每次使用DOM来解析XML文件时，您都会将整个文件加载到内存中，而DOM基础结构将使用相同的大小来处理它，因此它将消耗大约两倍于文件大小的内存。
您需要使用SAX，一个基于事件的解析器。 虽然这在第一次很难理解，但是它非常有效，因为它只保留在内存当前的解析节点中。
似乎Java有一些SAX实现，比如StAX ，我希望它有所帮助。
尝试增加JVM的ram分配。 它应该有所帮助。
修复eclipse：你可以在eclipse偏好中配置如下
Windows – > Preferences（在mac上：eclipse – > preferences）Java – >已安装的JRE选择JRE并单击默认VM参数字段上的Edit，输入–Xms256m -Xmx512m -XX：MaxPermSize = 512m -XX：PermSize = 128米。 （或者你的记忆偏好，对于1 gb的RAM是1024）点击完成或OK。
解析XML是一项相当昂贵的任务。 平均DOM解析器已经需要至少五倍的内存空间，因为XML文档很大。 你也应该考虑这个事实。 为了确保在其他地方没有导致XML解析器内存不足的内存泄漏，您确实需要运行一个分析器。 为它提供更多内存，将可用内存加倍并对其进行分析。 当您确定原因并修复泄漏时，您可以回到“默认”内存并重新测试。 或者，如果确实没有任何泄漏方法，那么只需给它一些比默认更多的内存，以便它们都适合。
您也可以考虑使用更具内存效率的XML解析器，例如VTD-XML （ 这里是主页，这里是基准 ）。
您必须为tomcat JVM的PermGenSpace分配更多空间。
这可以使用JVM参数完成： -XX:MaxPermSize=128m
默认情况下，PermGen空间为64M（它包含所有已编译的类，因此如果类路径中有很多jar（类），则可能确实填充了此空间）。
另外，您可以使用JVisualVM监视PermGen空间的大小，甚至可以使用YourKit Java Profiler检查其内容
您是否尝试过设置最大堆大小以查看问题是否仍然存在？ 甚至根本没有泄漏。 它可能只是默认堆大小（我认为Windows上64米）不足以满足此特定进程。
我发现我几乎总是需要给任何应用程序我运行Tomcat比默认值更多堆和perm gen空间，否则我将遇到内存不足的问题。 如果您需要帮助调整内存设置，请查看此问题 。
你确定在某处没有递归数组拷贝，错误地留在那里吗？ 也许在不同的线程？
关于文件和DOM会占用大量内存，我会说第二点。 我也想知道我什么时候看到这个：
ERROR [JobRunShell]: Job updateVendorData.quoteUpdate threw an unhandled Exception: java.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOfRange(Arrays.java:3210)
复制是做什么的？ 我想知道你的代码中是否还有其他不良内容。
如果你已经做到这一点，它表明你已经成功读取了文件和DOM，并且你开始写入数据库了。 应该已经回收了文件内存。
我建议使用VisualGC查看内存，这样你就可以看到发生了什么。
您可以使用以下命令运行应用程序：-XX：+ HeapDumpOnOutOfMemoryError。 这将导致JVM在内存不足时生成堆转储。 您可以使用类似：MAT或JHAT来查看要保留的对象。 我建议在生成的堆转储上使用eclipse内存分析器工具（MAT），因为它非常简单易用： http ： //www.eclipse.org/mat/
当然，您需要了解哪些对象可能会被闲置，以使其有用。 DOM对象？ 以前加载的xml文档的资源？ 数据库连接？ MAT将允许您从一些您怀疑应该被垃圾收集的对象中追溯到根对象的引用。