飞社-令人惊奇的创意工作者社区-›首页›问与答›Deepseek R1 671B 本地部署方案
FSHEX=FIND+SHARE+EXPRESS
飞社-令人惊奇的创意工作者社区- 是一个关于发现分享表达的地方
现在登录
没有账号?  立即注册

Deepseek R1 671B 本地部署方案

mcsddjyd · 2025-3-19 09:45:49 · 724 次点击
公司让部署满血的 Deepseek R1 671B 目前机器有四台 每台机器八张 4090 每张显卡 24G 有大佬能推荐一下部署方案嘛
举报· 724 次点击
登录 注册 站外分享
显示全部 | 最新评论
6 条回复  
沙发
Marshaii 初学 2025-3-19 09:50:57
https://mp.weixin.qq.com/s/vIrvbVJ6Nv00Ehre1zZwMw 刚看到个
板凳
mcsddjyd 楼主 初学 2025-3-19 09:52:54
@Marshaii 感谢 我先看看
地板
mcsddjyd 楼主 初学 2025-3-19 09:54:13
@Marshaii 这个好像是 cpu 的部署方案
5#
Marshaii 初学 2025-3-19 09:56:18
@mcsddjyd sorry ，在地铁上刷到直接收藏还没来得及看。无视我吧，Orz
6#
waityan 小成 2025-3-19 09:57:59
别想了，这最大只能部署 1.58 -bit 的版本吧，用处不大。不如直接用 QWQ-32B 吧
7#
mcsddjyd 楼主 初学 2025-3-19 09:59:46
@waityan 老板要求部署 我也没法 现在就卡在 四台机器上的 4090 加载模型的时候无法通信 使用的是 ray+vllm
手机版小黑屋飞社-令人惊奇的创意工作者社区
Powered by FSHEX ♥ GMT+8, 2025-9-8 09:21, Processed in 0.100390 second(s), 26 queries .
鲁ICP备2024064694号-2
返回顶部