Tag: text mining

如何从网页中提取文本内容？

我正在开发一个java应用程序，它可以从不同的网页获取文本信息，并将其汇总到一个页面。例如，假设我在不同的网页上有新闻，如印度教，印度时报，政治家等。现在我的应用程序应该从这些页面的每一个中提取重要点，并将它们作为单个新闻组合在一起。应用程序基于Web内容挖掘的概念。作为该领域的初学者，我无法理解从哪里开始我已经通过研究论文解释了噪声去除作为建立这个应用程序的第一步。 所以，如果给我一个新闻网页，第一步是从页面中提取主要新闻，不包括超链接，广告，无用图像等。 我的问题是我该怎么做？ 请给我一些很好的教程，解释使用Web内容挖掘实现这种应用程序。或者至少给我一些提示如何实现它？

如何在OpenNLP中创建一个好的NER培训模型？

我刚开始使用OpenNLP。 我需要创建一个简单的训练模型来识别名称实体。 在这里阅读文档https://opennlp.apache.org/docs/1.8.0/apidocs/opennlp-tools/opennlp/tools/namefind我看到这个简单的文本来训练模型： Pierre Vinken , 61 years old , will join the board as a nonexecutive director Nov. 29 . Mr . Vinken is chairman of Elsevier NV , the Dutch publishing group . Rudolph Agnew , 55 years old and former chairman of Consolidated Gold Fields PLC , was named a director of […]