18 条回复  ·  2020 次点击
nexmoe 楼主 小成 2025-3-7 12:27:17
@ccloving @molezznet 估计是跑在 3080 上了,准备把 3080 下了。然后有些节点可能还没预热成功,命中了没预热的节点就会很慢
nexmoe 楼主 小成 2025-3-7 13:02:53
刚刚把 16G 显存以下节点撤了,只有下面几种显卡类型了。 NVIDIA GeForce RTX 4090 Laptop GPU NVIDIA GeForce RTX 4090 D NVIDIA GeForce RTX 4090 NVIDIA GeForce RTX 3090 Ti NVIDIA GeForce RTX 3090 NVIDIA only 4090 laptop
agood 初学 2025-3-7 13:05:02
一眼就很皮包公司,世界、首个、免费、无限制…恨不得把所有极限词都用上
nexmoe 楼主 小成 2025-3-7 13:12:10
@agood 但这就是客观事实啊,熬大夜通宵赶出来,那不就是抢快吗。 我们本质上做分布式平台的,世界上也确实没有把 QwQ 32B 跑在分散的家用电脑上的。 之前 DeepSeek 7B 就是完全免费,但是需要登录。现在 QwQ 32B 直接就是免费且没有限制,API KEY 都直接给出来了,登录注册都不需要。
nolan1864 初学 2025-3-7 13:38:38
数十万台网吧资源怎么搞的,而且网吧一般不都是 3060, 4070 的中端显卡么,显存就不太够吧,8G 的显存装了模型,就没多少分给 kvcache 了,性价比太低了。
mkroen 小成 2025-3-7 14:16:21
支持!另外提一嘴,算了么什么时候能支持 linux😂
0312birdzhang 小成 2025-3-7 14:34:55
示例请求前面四行最后面少了 \ 😒
nexmoe 楼主 小成 2025-3-7 14:54:43
@0312birdzhang 已优化
Moyyyyyyyyyyye 小成 2025-3-7 15:23:00
虽然但是,没响应过 https://i.imgur.com/NIvxivj.png
12
返回顶部