最近在尝试做一个基于骨架的动作识别,目标是想识别出校园里的打架、霸凌行为,因为视频画面是采集的热成像,所以考虑用骨架信息做行为检测,同时也是考虑可以降低算力需求。  

目前采集了一些数据集,直接 2 分类,基于 [mmaction2 的 STGCN++]( https://github.com/open-mmlab/mmaction2/blob/main/configs/skeleton/stgcnpp/README.md) 预训练模型做迁移学习,但是效果不是很好,甚至训练时的验证集都上不去 90%。  

现在有几个问题想问下大佬   

1. 是不是打架的行为模式太复杂了,skeleton based 的模型没办法识别区分出来
2. 把复杂的打架行为拆分,比如踢腿、推搡、扇耳光,这样多分类,增加数据集是不是合理些
3. skeleton based 的模型输入是关节点数据,第一步识别到的关节点数据准确率对后续影响很大么?因为考虑到性能和并发,用的事 yolov8s-pose 的关节点预测模型,但是感觉准确率比较差,帧与帧之间波动太大了,有必要更换准确率更高的模型么

本人机器学习菜鸡,还处于是只会用不会写的阶段,请教站内大佬
举报· 59 次点击
登录 注册 站外分享
2 条回复  
erquren 小成 2024-9-12 15:30:09
方向错了,别用骨架,检测+分类就行
takeit 小成 2024-9-12 16:44:06
楼上正解,检测在+分类,去网上找几个预训练的模型微调就行了
返回顶部