设为首页
收藏本站
开启辅助访问
全部
问与答
创意
技术
酷工作
生活
交易
节点
飞墙
Follow
明白贴
工算小助手
登录
注册
飞社-令人惊奇的创意工作者社区-
›
首页
›
程序员
›
多少钱能搞个本地大模型环境
FSHEX=FIND+SHARE+EXPRESS
飞社-令人惊奇的创意工作者社区- 是一个关于发现分享表达的地方
现在登录
没有账号?
立即注册
推荐主题
›
政府的很多工作可以被 AI 取代
›
98 年女生逃离程序员:不想加班,我如何选
›
如何评价“你们任总知道华为云的业务这么辣
›
问一下军队文职是不是骗局?
›
[西安]招一位兼职软件工程师
今日热议主题
候鸟南飞
well-net 开源组网软件, 简单组建起你的专
为什么绝大部分网站,用户光标 hover 按钮
最近站内冷清不少
活动玩不起可以不玩
公积金怎么提出来
求推荐主动降噪耳机
盘点! HelloGitHub 年度热门开源项目
电煮锅真不错
让 AI 自己去管理和修复 Skills
显示全部
|
最新评论
27 条回复
·
3039 次点击
21#
iamqk
小成
2025-5-29 09:19:34
m3 ultra studio ?
22#
coolloves
初学
2025-5-29 09:19:59
@sayyiku #16 哈哈,一字之差,差了好多个 w 啊
23#
tool2dx
初学
2025-5-29 09:23:39
@villivateur “16GB 够你跑 14b 的 deepseek-r1 或者 12b 的 gemma3 了” 你看 google 官方的 gemma3 技术文档的测试数据,12b 和 27b 差距还是很大的。
24#
mercury233
小成
2025-5-29 09:27:41
捡垃圾部署满血 deepseek 这种行为艺术前段时间比较流行,不过无论是模型本身的水准还是低配硬件带来的回复速度都远达不到可用标准,所以后来也没人提了 现在小显存(-16GB )有实用价值的模型除了画图的也就 whisper 音频转写和 sakura 日中翻译,其他都是玩具甚至炒概念的
25#
huangrong
初学
2025-5-29 09:34:39
不如买 token
26#
squarefong17
小成
2025-5-29 09:40:59
AMD 的 AI max + 395 ,四通道 DDR5 8000MT ,大概 200G 带宽,32B 全量大概 10tokens/s ,MoE 只激活 3B 参数(显存容量还是 20 多 G )大概 30-50 tokens/s (取决于上下文长度),70B 也能跑,但是 5token 的速度没什么实用价值,等 70B 而且是 moe 的模型出来可能实用些。395 国补后通常不到两万,有 64G 内存的也有 128G 内存的。
27#
fredweili
小成
2025-5-29 09:43:27
openrouter, DMX 这种汇聚平台也很好,还有一些免费的
28#
zhaoahui
小成
2025-5-29 09:43:56
都说买 token 吃降智,自己搭会不会用着用着降智呢?
1
2
3
/ 3 页
返回顶部