我从浏览器打开,登陆之后,可以保持 session 10 来天,然后页面会自动定时刷新

现在有没有办法开着浏览器来定时获取页面的数据?


通过 python 调用 webdriver 没办法搞定登陆问题,所以希望是浏览器插件这种方式?
猴油脚本有可能么?

需要支持把获取的数据定期发送出来,或者写到数据库( mysql 等)
举报· 111 次点击
登录 注册 站外分享
8 条回复  
Ausmo 小成 2024-10-23 11:29:52
搜一下 puppeteer 或者 playwright
Vegetable 小成 2024-10-23 11:15:57
所以你想做的是

1. 手动打开浏览器,访问目标网站,登录,进入数据页面挂机
2. 页面自己获取最新数据时,某个程序将这个数据保存下来

方案有很多,webdriver 是可以的,只要你嵌入一个手动登录过程就行。
浏览器插件和脚本都可以,不过需要对应的外部程序配合接收数据
其他方案:

代理方案,使用 mitmproxy 代理特定网络,浏览器挂代理之后,逻辑写在代理里 https://github.com/mitmproxy/mitmproxy/issues/1487
sentinelK 初学 2024-10-23 11:09:33
没太看懂楼主的需求,楼主的意思是想爬一个网页的数据?
无头浏览器是否契合楼主的需求?
shadowyue 初学 2024-10-23 10:48:18
你这提供信息这么少🤣 算命是吧
我来帮你掐指一算,你说的自动刷新,大概率是你登录过期了,请求接口的时候触发了前端登录过期的判断,让你跳转到登录页面了。
你想绕过登录过期这个逻辑不太可能,这都是服务端的判断了。
还是想办法能做到自动登录,可能性高一点
返回顶部