[需求背景] 领导给你一批 kol twitter 用户,需要定时抓取这些 kol 的 twitter 情况,你会怎么实现

[实现方案] 用一个新的账号(注意,需要用新的,不能用自己经常使用的账号),用这个新的账号批量关注上面的 kol 信息。 关注了这些 kol 之后,每次就只需要请求当前账号关注列表的帖子就可以了,相比于如果需要去请求每个 kol 的最新信息,大大降低的封号风险

[项目] https://github.com/xiaoxiunique/x-kit 地址

我将核心逻辑提取了出来。

如果你有更加高效的抓取方案,欢迎分享

举报· 412 次点击
登录 注册 站外分享
3 条回复  
lckof 初学 6 小时前
优雅,高级。已 star 。 PS:为什么要增加一个`GET_ID_X_TOKEN`呢?
notot 楼主 小成 5 小时前
GET_ID_X_TOKEN 这个是那种受限制的 twitter 账号的 token ,没办法关注,但是可以请求部分 twitter 的 api ,比如拿到 twitter 用户的 id ,分散一部分请求
notot 楼主 小成 5 小时前
@lckof GET_ID_X_TOKEN 这个是那种受限制的 twitter 账号的 token ,没办法关注,但是可以请求部分 twitter 的 api ,比如拿到 twitter 用户的 id ,分散一部分请求. 降低主要账号被封的频率,根据我现在目前的测试结果,现在线上跑的账号(新账号) 已经 10 多天正常抓取数据了,还不错
返回顶部