Tag: solr4

将标记添加到lucene令牌流

我写了一个TokenFilter ，它在一个流中添加了令牌。 1.测试显示它有效，但我不完全理解为什么。 如果有人能够阐明语义，我将不胜感激。 特别是在(*) ，恢复状态，这是否意味着我们要么覆盖当前令牌，要么在捕获状态之前创建令牌？ 这大致就是我所做的 private final LinkedList extraTokens = new LinkedList(); private final CharTermAttribute termAtt = addAttribute(CharTermAttribute.class); private State savedState; @Override public boolean incrementToken() throws IOException { if (!extraTokens.isEmpty()) { // Do we not loose/overwrite the current termAtt token here? (*) restoreState(savedState); termAtt.setEmpty().append(extraTokens.remove()); return true; } if (input.incrementToken()) { if (/* condition […]