设为首页
收藏本站
开启辅助访问
全部
问与答
创意
技术
酷工作
生活
交易
资源
节点
飞墙
Follow
明白贴
报酬
登录
注册
飞社-令人惊奇的创意工作者社区-
›
首页
›
程序员
›
多少钱能搞个本地大模型环境
FSHEX=FIND+SHARE+EXPRESS
飞社-令人惊奇的创意工作者社区- 是一个关于发现分享表达的地方
现在登录
没有账号?
立即注册
推荐主题
›
我这周不想通勤回去了,但是心里又很内疚咋
›
giffgaff 流量注册了两个 gmail,基本上是注
›
本以为国产安卓这几年发展替代苹果没啥大问
›
115 历史跑路事迹整理
›
求点评一下装机配置
今日热议主题
通过中转 apikey 使用 cc 的/chrome 功能登
android 是否有可以语音添加待办事项的 app
探讨:动态未知环境下,基于单设备异构传感
硬核 | 智谱上市招股书深度解读
请教,什么 IDE 看内核代码比较好?能否满
微星魔龙 4060ti 显卡 省流 2000
买二手无锁 esim 果机,挂外区 ID 被风控后
奈飞小铺又又又跑路了?
收 iPhone 16pro 或 16pm
怎样算是一个合格的 CTO?
显示全部
|
最新评论
27 条回复
·
3025 次点击
21#
iamqk
小成
2025-5-29 09:19:34
m3 ultra studio ?
22#
coolloves
初学
2025-5-29 09:19:59
@sayyiku #16 哈哈,一字之差,差了好多个 w 啊
23#
tool2dx
初学
2025-5-29 09:23:39
@villivateur “16GB 够你跑 14b 的 deepseek-r1 或者 12b 的 gemma3 了” 你看 google 官方的 gemma3 技术文档的测试数据,12b 和 27b 差距还是很大的。
24#
mercury233
小成
2025-5-29 09:27:41
捡垃圾部署满血 deepseek 这种行为艺术前段时间比较流行,不过无论是模型本身的水准还是低配硬件带来的回复速度都远达不到可用标准,所以后来也没人提了 现在小显存(-16GB )有实用价值的模型除了画图的也就 whisper 音频转写和 sakura 日中翻译,其他都是玩具甚至炒概念的
25#
huangrong
初学
2025-5-29 09:34:39
不如买 token
26#
squarefong17
小成
2025-5-29 09:40:59
AMD 的 AI max + 395 ,四通道 DDR5 8000MT ,大概 200G 带宽,32B 全量大概 10tokens/s ,MoE 只激活 3B 参数(显存容量还是 20 多 G )大概 30-50 tokens/s (取决于上下文长度),70B 也能跑,但是 5token 的速度没什么实用价值,等 70B 而且是 moe 的模型出来可能实用些。395 国补后通常不到两万,有 64G 内存的也有 128G 内存的。
27#
fredweili
小成
2025-5-29 09:43:27
openrouter, DMX 这种汇聚平台也很好,还有一些免费的
28#
zhaoahui
小成
2025-5-29 09:43:56
都说买 token 吃降智,自己搭会不会用着用着降智呢?
1
2
3
/ 3 页
浏览过的版块
问与答
Apple
二手交易
返回顶部