Tag: stormcrawler

StormCrawler在抓取一个域完成后执行操作

当爬虫完成对一个域的爬行时，我想做一个动作（在我的情况下，将一个元组发送到一个螺栓）。 我看到StormCrawler能够在给定的间隔后重新访问网站。 在同时抓取多个域的方案中，哪个组件或如何查看一个域何时完成爬网？ 我目前的设置是使用StormCrawler与Elasticsearch和Kibana。