在lucene中使用点击荧光笔

关于apache lucene提供的点击荧光笔我有两个问题：

1. 看到这个函数可以解释令牌流参数的使用。

2. 我有几个包含许多字段的大型lucene文档，每个字段中都有一些字符串。 现在我找到了特定查询最相关的文档。 现在找到此文档是因为查询中的多个单词可能与文档中的单词匹配。 我想找出查询中的哪些单词导致了这个问题。 因此，我计划使用Lucene Hit Highlighter。 示例：如果查询是“皮肤医生德里”并且标题为“皮肤科医生”的文档包含单词“皮肤”和“医生”，那么在点击突出显示之后我应该能够从查询中分离出“皮肤”和“医生”。 我一直试图为此编写代码数周。 无法得到我想要的东西。 请问你能帮帮我吗？

提前致谢。

更新：

当前方法：我创建一个包含文档中所有单词的查询。

Field[] field = doc.getFields("description"); String desc = ""; for (int j = 0; j < field.length; ++j) { desc += field[j].stringValue() + " "; } Query q = qp.parse(desc); QueryScorer scorer = new QueryScorer(q, reader, "description"); Highlighter highlighter = new Highlighter(scorer); String fragment = highlighter.getBestFragment(analyzer, "description", text); 

它适用于小型文档，但不适用于大型文档。 获得以下堆栈跟踪。

  org.apache.lucene.search.BooleanQuery$TooManyClauses: maxClauseCount is set to 1024 at org.apache.lucene.search.BooleanQuery.add(BooleanQuery.java:152) at org.apache.lucene.queryParser.QueryParser.getBooleanQuery(QueryParser.java:891) at org.apache.lucene.queryParser.QueryParser.getBooleanQuery(QueryParser.java:866) at org.apache.lucene.queryParser.QueryParser.Query(QueryParser.java:1213) at org.apache.lucene.queryParser.QueryParser.TopLevelQuery(QueryParser.java:1167) at org.apache.lucene.queryParser.QueryParser.parse(QueryParser.java:182) 

很明显，这种方法对于大型文档来说是不合理的。 应该怎么做才能纠正这个问题？

顺便说一下，我使用的是FuzzyQuery匹配。

Answer 1

编辑：添加了一些关于explain（）的细节。

一些一般性介绍：Lucene Highlighter旨在从命中文档中查找文本片段，并突出显示与查询匹配的标记。

1. 因此，TokenStream参数用于将命中文本分解为标记。 然后，荧光笔的得分者对每个标记进行评分，以便对片段进行评分并选择要突出显示的片段和标记。
2. 我相信你做错了。 如果您只想了解文档中匹配的查询术语，则应使用explain（）方法。 基本上，在您实例化搜索者之后，请使用：

Explanation expl = searcher.explain(query, docId);

String asText = expl.toString();

String asHtml = expl.toHtml();

docId是搜索结果中的原始文档ID。

只有在您需要片段和/或突出显示时，才应使用荧光笔。 如果您仍想使用荧光笔，请遵循Nicholas Hrychan的建议 。 但要注意，他描述了Lucene 2.4.1 API – 如果你使用更高级的版本，你应该使用“QueryScorer”，他说“SpanScorer”。