买大内存 MacBook 的一个意外好处——私人 AI 服务器

MacBook Pro M1 Max 64G 可以跑 DeepSeek R1 的大模型当 AI 服务器，当年想都没想过还有这个用途。



之前本机跑 Llama 3 性能并不好，能力不如大部分收费的模型，但是如今有了 DeepSeek ，一下就山鸡变凤凰，相当于本地跑个 Chatgpt o4 mini 的水平，这就很够用了。

当然 70B 模型虽然能跑动，回答速度是比较慢的，目测大概 3 tokens/s ，只能用来问适合思考的问题，例如我问了个黑洞视线的问题，花了大约 2 分钟才输出完毕。但是如果降低点要求用 32B 模型，输出能快到 15 tokens/s ，基本和线上服务相似，就非常可用了：

有海外老哥尝试部署原版不蒸馏 r1 ，＄ 6000 跑几个 token/s

何必呢，要隐私的话，自己云上部署一个 GPU 的不是更好。

速度太慢了，只能是体验一下。真要想提供“服务”，不如买 4 张 22g 的 2080ti 。。

@chiaf 这倒也是啊。。。也可以多搞几台。。。办公室一人一台嘛。。。

@hefish 老板出钱就买 128G 的，64G 还是太小了🤪

@ShadowPower 没事，老板出钱

@hefish 有 64G 内存的 Mac 玩玩还可以，为了跑 LLM 买 64G 内存的 Mac 就不值得了……

如果不是对隐私性要求特别强，官网的满血模型更好

@ZeroClover API 能给我写小黄文吗🤪