|
几个月之前在油管和阿 b 都看到很多教怎么本地部署 AI 的教程,
弄了下来玩了玩,有 chatglm3-6b,llama2-13b 的各种量化变种,
最后对接酒馆玩卡片 AI 人,刚开始真的很震撼很刺激,
尤其是配合 tts 语音 和 stable diffusion 实时生成人物表情图.
但是说实话我 3080-10G 能部署的模型现阶段还是智商和显存欠费.
你说用 claude chatgpt 那些吧,又没隐私又被警告.
瑟瑟永远是玩家第一生产力阿.
那么问题来了,最近 Mac Mini 64G 出来了,大概 17000 能拿下,有没有搞头?
能不能用它来运行量化的 llama3-70b 之类的.
或者是本地部署到底什么方案比较好,请教各位大佬
| 
