请问此配置如何加速 ollama ds-r1 32b 的速度,好慢

五分钟才生成以下图片回答 image windows 利用情况 image nvida 版本 : 24.21.13.9793 GPU : NVIDIA Quadro P2000 内存 image

举报· 516 次点击
登录 注册 站外分享
4 条回复  
czfy 小成 昨天 15:51
你先把驱动改成 Studio 驱动 试试
littlemis 楼主 初学 昨天 16:08
@czfy 大老,我查看 https://www.nvidia.com/en-us/drivers/details/241085/ 好像没有 studio 驱动,请问是我找的方式不对吗
tool2dx 初学 昨天 16:09
你这显存完全没有动起来,都是 CPU 在推理,肯定慢的。 换 m40 显卡,买二手的几百块,显存够大够用。
littlemis 楼主 初学 昨天 16:39
https://zhuanlan.zhihu.com/p/645580165 我用 nvidia-smi -dm 0 -i 0 设置成 WDDM 模式,速度加快了!
返回顶部