Java字符串实习的替代方案
由于Java的默认字符串实习有很多坏消息,我正在寻找替代方案。
你能建议一个API,它是Java字符串实习的一个很好的替代品吗? 我的应用程序使用Java 6.我的要求主要是通过实习来避免重复的字符串。
关于坏消息:
- 字符串实习生是通过本机方法实现的。 并且C实现使用大约1k个条目的固定大小,并且对于大量字符串进行非常差的扩展。
- Java 6在Perm gen中存储实习字符串。 因此不是GC并且可能导致烫发错误。 我知道这在java 7中已修复,但我无法升级到java 7。
为什么我需要使用intering?
- 我的应用程序是一个服务器应用程序,堆大小为10-20G,适用于不同的部署。
- 在分析期间,我们已经发现数千个字符串的数据是重复的,我们可以通过避免存储重复的字符串来显着提高内存使用率。
- 内存一直是我们的瓶颈,因此我们正在针对它而不是进行任何过早的优化。
字符串实习生是通过本机方法实现的。 并且C实现使用大约1k个条目的固定大小,并且对于大量字符串进行非常差的扩展。
对于数千个字符串,它的扩展性很差。
Java 6在Perm gen中存储实习字符串。 因此不是GC’d
当清理烫发时,它会被清理掉,但这并不常见,但如果你不增加它,就意味着你达到了这个空间的最大值。
我的应用程序是一个服务器应用程序,堆大小为10-20G,适用于不同的部署。
我建议你考虑使用堆内存。 我在off heap内存中有500 GB,在一个应用程序中有大约1 GB的堆。 它并非在所有情况下都有用,但值得考虑。
在分析期间,我们已经发现数千个字符串的数据是重复的,我们可以通过避免存储重复的字符串来显着提高内存使用率。
为此,我使用了一个简单的String数组。 这是非常轻的重量,您可以轻松控制存储的字符串的上限。
这是一个通用内部的例子。
class Interner { private final T[] cache; @SuppressWarnings("unchecked") public Interner(int primeSize) { cache = (T[]) new Object[primeSize]; } public T intern(T t) { int hash = Math.abs(t.hashCode() % cache.length); T t2 = cache[hash]; if (t2 != null && t.equals(t2)) return t2; cache[hash] = t; return t; } }
这个缓存的兴趣属性是它不是线程安全的并不重要。
对于额外的速度,您可以使用2大小和位掩码的function,但它更复杂,可能无法很好地工作,具体取决于您的hashCodes的计算方式。