我这种需求应该去学什么

sg8011 · 2024-8-30 12:51:44 · 321 次点击
最近碰到一个需求,业务部门想要统计业务系统里的某个业务参数,但是业务系统里面并没有提供这项参数的统计功能,也没办法导出 excel 表来自己统计,只能在点开每个详情一一里面查看。但是这个业务每个月至少有 4000 多件,一件一件点进去的话算,非常费时费力,应该学点什么技术,可以实现提取并汇总每个项目详细信息里的这项数据,然后进行统计呢?
举报· 321 次点击
登录 注册 站外分享
35 条回复  
tool2dx 初学 2024-8-30 12:57:57
可以用 sql 统计,业务数据一般都是存在数据库里的。
zsh2517 小成 2024-8-30 13:06:29
@tool2dx 普通人应该没权限接触数据库。我建议学一下 js 和油猴脚本(或者一些爬虫相关的知识),从前端把数据扒拉下来
Frankcox 小成 2024-8-30 13:50:59
python selenium 爬虫
greycell 小成 2024-8-30 14:02:06
需要学会怎么给上面提需求。
sagaxu 初学 2024-8-30 14:12:18
内网一般不会反爬,抓一下详情页 API ,这点儿数据量也不用调度

简单学点 python, 依葫芦画瓢调 requests 请求数据,然后用 BeautifulSoup 解析,最后输出 csv
sillydaddy 初学 2024-8-30 14:16:15
方案 1 ,给老板提预算,招 5 个手下,手工统计。你负责做管理人。

方案 2 ,给老板提预算,5000 块外包解决。你整理几个模板页面,花 2000 块找个外包开发抓取功能是,自己挣 3000 块的辛苦费。

方案 3 ,给老板提预算,自己需要 1 个月的时间来学习爬虫。这段时间好好学点技术。
fanersai 小成 2024-8-30 14:22:02
感觉是你们信息科的这个项目没有给尾款/维保费用克扣,甚至验收的时候数据库并没有给信息科的工程师开放,兼职愚蠢!
Ranhao 初学 2024-8-30 14:29:07
如果你不是开发相关,#9 说得好
kw8023cn 初学 2024-8-30 14:36:00
爬虫麻烦了,让 chatgpt 给你写一个脚本,脚本要求如下:
通过业务列表接口获取所有所有业务 id ,至于接口是啥,自己 f12 在列表页扒一下,
然后遍历这个接口返回的数据集合,取出里边的 id 字段,接着把这个 id 拼装到业务详情接口,至于接口是啥,自己 f12 在详情页面拔,一般详情页面的地址栏就能看到,这样能拿到业务详情数据,把接口返回的数据的 key 作为表头,value 作为一行内容,输出到一个 excle 中。
这样你就能得到一个汇总了所有详情数据的表格。
1234下一页
返回顶部