郁闷,折腾了一周的爬虫

guoguobaba · 2024-8-26 17:50:07 · 239 次点击
辛辛苦苦解码 js ,绕开反爬机制,结果他认证的时候加了个手机实名,我艸。
举报· 239 次点击
登录 注册 站外分享
16 条回复  
WeaPoon 初学 2024-8-27 01:53:25
@xinghusp #15 哎。
zeusho871 小成 2024-8-27 01:04:42
不要实名的话 这个框架好一点 drissionpage
playwright selenium 有特征 不用去特征版本的就会被检测
NoOneNoBody 小成 2024-8-27 00:38:50
最近在重拾前端做自动化,一些网页或网站打开就自动提取信息
不过倒不是爬大量页面,就是打开哪个是哪个,减少一顿 select ctrl-c open ctrl-v close 的手工操作而已

爬虫还是要找些机器一起爬才行,单机单 ip 遇到 5 秒反爬确实搞不了,我以前都是爬外站多,没什么线下问题,最多把我“升级”称为“中国黑客”,笑
jianchang512 小成 2024-8-27 00:28:08
国内即便你遵守 robots.txt, 也一样可能吃牢饭
fbichijing 小成 2024-8-26 23:53:48
@yb2313 我倒觉得适度的爬虫是很有存在的必要性的,至少对个人来说是这样,可以节省很多劳力和时间。至于 js 逆向花的时间就感觉意义较低。验证码我就觉得根本没时间和精力去搞它,客观上都跟不上它的变化速度。这种过于被动的东西就极其难以提起欲望。
xinghusp 小成 2024-8-26 22:33:59
@guoguobaba 兄弟 别搞了。我正在经历这破事,甚至于对方公司都没有报案也不愿意配合作证,这帮人为了 KPI 还是硬要定罪。我这还是公开接口调用,也无反爬机制。
somebody1 初学 2024-8-26 20:33:44
到解码 js 的时候就该用 playwright ,selenium 这种快速搞定,自己的时间比机器的资源值钱
happybabys 小成 2024-8-26 19:46:53
高端的食材只需要简单的烹饪
yb2313 小成 2024-8-26 19:44:36
人家隔几天规则一换, 你又要重新搞, 爬虫, 最没有成就感的工作, 应该让 ai 来做 js 逆向
macaodoll 小成 2024-8-26 19:37:39
手机号注册吗?好多家接码平台,随便搞的
12下一页
返回顶部