要怎么实现快速爬取 1w 个网站呢？

如何在段时间内容实现 1w 个网站的数据采集呢？利用传统的 scrapy 实现，每个网站创建一个 spider 这种肯定是不现实的，而且也不好维护，有其他方案可以快速实现这个庞大网站采集吗？

这和建立一个个人搜索引擎感觉差不多了，应该有解决方案的