拿自己电脑跑,处理分析自然语言数据(中文)
硬件是 1080TI 显卡
首先,不管参数多少,必须要量化到 4bit ,然后用 llama.cpp 跑,下面说的都是 4BIT 量化后用 llama.cpp 跑的表现
70B 往上的模型,应该都无缘。就算能跑起来,推理速度也是个大的问题。或者大家看有没有更好的部署方案

上午测试了一些 10B 以下的模型,表现较好的有下面三个:
Qwen2.5-7B-Instruct: 10B 以下,表现最好
Gemma 2 9b It SimPO:缺点是经常会夹杂英文单词。普林斯顿的 NLP 小组微调出来的,看照片和人名清单,一堆 Chinese
Yi-1.5-9B-Chat: 表现次于 Qwen2.5-7B

其它的,比如 MiniXXXX-4B ,只能说是个“玩具”,离“工具”的差距还不小
还有一些模型,目的似乎只是研究,只能冲冲排行榜

正在下几个 1XB 和 3XB 的模型,下午继续测试

看大家有没有推荐的
举报· 38 次点击
登录 注册 站外分享
快来抢沙发
0 条回复  
返回顶部