scrapy 爬虫采集多个站点，会不断增加站点，如何工程化项目呢是把全部站点的爬虫写到一个 scrapy 还是每个站点都创建一个 scrapy 工程？

qfly · 2024-10-25 08:57:36

简单的办法是一个站点一个然后挂在 scrapyd 下，crontab 触发或者外部网站都可以触发，数据进数据库不同表。由于每个站点内容不一样很难统一数据库表结构。如果数据类似那么就将所有数据写入同一批表，用关键词区分不同网站。当然你能将整理出规则，那也是可行的，数据库就设计的复杂点，定义元数据，根据要求写入不同表。但如果没几个网站这样做不值得。

EndlessMemory · 2024-10-25 09:34:37

每个站一个

scrapy 爬虫采集多个站点，会不断增加站点，如何工程化项目呢 是把全部站点的爬虫写到一个 scrapy 还是每个站点都创建一个 scrapy 工程？

scrapy 爬虫采集多个站点，会不断增加站点，如何工程化项目呢是把全部站点的爬虫写到一个 scrapy 还是每个站点都创建一个 scrapy 工程？