有没有办法强制JVM使用swap,无论内存需求有多大?

这是我的情况:我手头有一项需要大量记忆的任务。 我没有足够的内存,无论我尝试了什么(Jrockit使用/ 3gb交换机等),我都无法给JVM足够的ram并且操作因exception而终止,告诉我需要更多的堆空间。

有什么方法可以强制JVM使用操作系统的交换机制,以便它不会耗尽内存? 这是Windows xp 32位

这需要很长时间,但我不在乎,我只需要完成这项操作。

我用完了选项,而且我无法控制任何变量。

这是一个必需的编辑,因为我几乎每个人都有相同的响应:)这不是我的代码。 有人编写了一个将xml文件读入存储库的工具。 该工具使用EMF,并立即加载整个模型。 我所能做的就是为它提供XML文件。 如果本机代码在Windows或Linux等下运行,操作系统会使用虚拟内存/交换空间为其提供内存,而应用程序并不知道它。 我想知道是否可以对JVM做同样的事情。 在Windows 32位下,-Xmx可以达到一定数量,但这还不够。 出门购买新硬件暂时不适合我。 所以我想知道是否有可能使JVM像本机进程一样工作。 慢,但仍在工作。 显然这是不可能的,我运气不好。 我只需要知道我是否真的没有选择权。

显然,有一种方法可以绕过Java堆的限制。 它甚至被用在名为BigMemory的商业产品中,它基本上允许您通过透明地交换到OS交换和/或磁盘(如果需要)来拥有几乎无限的内存。

我们的想法是使用直接的ByteBuffer来存储您的对象数据。 因为直接字节缓冲区的内容存储在本机进程内存中(而不是堆),所以可以依靠操作系统交换机制为您交换内存。 我在这个网站上找到了这个 (在页面上搜索’direct byte buffer’)。

以下是如何实现它(java-pseudo-code’ish):

 class NativeMemoryCache{ private Map data = new HashMap<...>(); public void put(Object key, Serializable object){ byte[] bytes = serialize(object); //allocate native memory to store our object ByteBuffer buf = ByteBuffer.allocateDirect(bytes.length); buf.put(bytes); buf.flip(); data.put(key, buf); } public Object get(Object key){ ByteBuffer buf = data.get(key).duplicate(); byte[] bytes = new byte[buf.remaining()]; buf.get(bytes); return deserialize(bytes); } private byte[] serialize(Object obj){ ... } private Object deserialize(byte[] bytes){ ... } } 

希望你能得到这个想法。 你只需要实现序列化(你也可以使用zip压缩你的对象。如果你有很少的大对象,特别是那些包含像字符串这样的可拉伸数据的对象,这将是有效的)。

当然NativeMemoryCache对象, data哈希映射和key s将在堆中,但这不应占用太多内存。

正如其他答案所指出的,您使用-Xmx开关为JVM提供更多RAM。

但是,你可以走多远就有限制。 在32位系统上,如果JVM支持它,它可能是2GiB,可能是3或4 GiB。 对于Sun JVM,根据Java -Xmx,系统上的Max内存, 32位Windows上的限制为1500MiB。

出于基本架构原因,进程不能(没有特殊技术)获得超过4 GiB的内存( 包括它可能使用的任何交换空间),这就是为什么存在-Xmx值的限制的原因。

如果您已尝试了最大可能值,并仍然获得OOM错误,那么您唯一的选择是:

  • 修复应用程序,使其需要更少的RAM

要么

  • 将其移至64位操作系统,并进一步增加-Xmx

编辑:

请注意,4 GiB限制是CPU体系结构的限制,因此它适用于任何进程,Java或非Java。 因此,即使是原生分配技巧也无法帮到你。 唯一的方法是使用多个进程,但这需要对应用程序进行基本的重写,这可能就像修复应用程序以减少RAM一样复杂。 所以上面的两个选项是你唯一的(明智的)选择。

编辑2:

要解决问题的新部分:

我想知道是否有可能使JVM像本机进程一样工作。

这是一种误解。 在这方面,JVM像本机进程一样工作:它使用的堆位于JVM从OS分配的内存中; 对于操作系统来说,这只是分配了内存,操作系统会像任何其他内存一样将其交换出来 – 如果感觉就好 – 这没什么特别之处。

堆无法无限增长的原因并不是它不能大于物理RAM(它可以,我至少在Linux / x86上尝试过它),但每个操作系统进程(JVM都是)不能超过4GiB内存。 所以在32位系统上,你永远不会有超过4GiB的堆。 在实践中,它可能要少得多,因为堆内存不能被分段(参见例如Windows XP上的Java最大内存 ),但4GiB是一个难以避免的极限。

根据我的经验,JVM从OS请求内存,可以在交换机的RAM中分配它。 这取决于你拥有多少资源。 您可以在java中分配的内存不依赖于您的RAM,而是依赖于您在运行JVM时指定的命令行选项-Xmx 。 例如,如果它没有足够的RAM内存JVM从交换接收它(我相信)甚至不知道这一点。

BTW恕我直言,你真的不需要这么多的记忆。 我同意那些说过的人。 我建议你检查你的设计。

如果没有足够的RAM,则需要更改代码,以便应用程序适合内存。 如果你使JVM足够大,它必须交换到磁盘应用程序,它就像挂起一样好。 JVM中的堆不是为了在磁盘上运行而设计的。

我怀疑你遇到的问题是你不能分配足够的连续内存,这是JVM的要求。 当您使用更多可用内存时,使用32位操作系统获取大型连续内存块会更加困难。

这是获得更多内存的时候,这些日子相对便宜。 或减少你的记忆要求。 使用swap只需要永远完成。

顺便说一句:你可以以大约£1,800和64 GB服务器购买24 GB服务器,价格约为4,200英镑。 对于53,000英镑,您可以获得1 TB内存的服务器! :d