设为首页
收藏本站
开启辅助访问
全部
问与答
创意
技术
酷工作
生活
交易
节点
飞墙
Follow
明白贴
工算小助手
登录
注册
飞社-令人惊奇的创意工作者社区-
›
首页
›
问与答
›
问一下海外的爬虫代理你们都用哪个。我测试了好几家都很 ...
FSHEX=FIND+SHARE+EXPRESS
飞社-令人惊奇的创意工作者社区- 是一个关于发现分享表达的地方
现在登录
没有账号?
立即注册
推荐主题
›
工位搬迁,发生了一件不愉快的事
›
豆包的聪明程度很一般,为什么却是国内最火
›
如果人生是场游戏,我的幸运值恐怕是负数
›
感觉千问的这个活动产品负责人实在动脑子了
›
帮朋友问下如何跨过情色一关
今日热议主题
iPhone 16e 有带 MagSafe 的硅胶壳推荐吗?
求个 foobar2000 皮肤 近十年前的作品~~
(打脸帖)所以 eth 一万美刀了吗?
Seedance 2.0 爆发:多镜头 AI 视频生成进
ClawBoxLite:一行代码在 micro-VM 沙箱内
给老人送什么东西好?
求推荐个父母用的手机
ClawBoxLite:一行代码在本地通过 micro-VM
整了个 安卓 x 软路由 x 三频满血双发热点
有无招产品兼职的呀,求一个
显示全部
|
最新评论
16 条回复
·
1853 次点击
11#
shiguang
小成
2024-12-7 15:32:55
我用的 smartproxy 住宅代理感觉很好啊 (题外话 我最近也在搞爬虫 要搞的网站刚上了 Cloudflare 不知道 op 是否知道绕开 Cloudflare 的方案呢 可付费解决🐶)
12#
defaw
小成
2024-12-7 15:35:01
要么把程序放海外跑,要么就嵌套代理,自己找个机场做第一层,然后你的爬虫代理是第二层
13#
NoOneNoBody
小成
2024-12-7 15:45:54
@shiguang #10 单 ip 5 秒盾没办法,需要多 ip 且每个 ip 用较长的间隔
14#
shiguang
小成
2024-12-7 16:04:21
@NoOneNoBody ip 的话 可以去 smartproxy 用数据中心代理 我看 smartproxy 的也不贵 30 刀起步 50GB 池里的 ip 随便用 昨天朋友给我推了一个 capsolver 我看官网号称可以越过 Cloudflare 照着配置了一下 不太行 老哥有成熟的方案吗🤔
15#
x86
初学
2024-12-7 16:05:03
海外数据海外机爬呀,你不考虑出口延迟的吗
16#
NoOneNoBody
小成
2024-12-7 16:18:28
@shiguang #13 没有,我之前搜了一圈,试过几个别人提供的方案都不行,最后还是拉长了间隔才能过 我不是职业爬虫,只是爬一些个人爱好的数据集,不急,爬到就行(我称为“自动浏览”,😅),也不想搞到人家服务器响应迟缓结果我还爬不到 所以不舍得花钱,也不需要太快,扔后台单线程慢慢跑就是了,上个月爬一个站 11 万 page 非实时信息,断断续续用了 5 天 职业爬虫应该上集群去爬,且用 ip 池,并发,只要客户标识每个不同,不搞死
17#
lysShub
小成
2024-12-7 16:30:24
@Abbeyok 虚拟网卡只是内网的,只要是同一个公网 ip 直接 5s
1
2
/ 2 页
浏览过的版块
macOS
职场话题
分享发现
程序员
宽带症候群
生活
DNS
互联网
Apple
返回顶部