各位的 m4 设备都陆续到货了，能否跑一下 ollama/llama.cpp ，看看大模型这块的算力究竟比 m1 max m2 ultra ， 提升有多少？

跑不太大的模型， 比如 Llama 3.1 8B

https://huggingface.co/lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF/blob/main/Meta-Llama-3.1-8B-Instruct-Q8_0.gguf

这个模型 16G 内存的丐版也能跑起来。

https://i.imgur.com/RjNcQ2L.png

真的没啥意思，我一直不能理解本地跑大模型推断的意义所在

13:20 m4max 跑大模型的评测 https://youtu.be/2jEdpCMD5E8

原本计划买 M4 Max + 128G 跑 ollama 的，后来从 llama 70b 的能力、算力成本和实际应用场景考虑我最终放弃了，感觉还需在在等两年，我认为目前最好的选择还是 ChatGPT 。 希望对你能有些帮助。

8b 太蠢了

我 M1 pro 都能跑

@berchtesgaden #1 这个不错，现在 mac 应该在 lm studio 下跑了转换的 mlx 模型，貌似 ollama 还不支持 mlx 格式的。

@234ygg llama3.2 弱智？你太逗了，跟不上时代了已经

@234ygg 并不是这样的，体验一下 qwen2.5 32b 的量化模型，本地可以跑，评测水平和 gpt-4o-mini 差不多水准了，日常用起来感觉也是不错的

本地跑的全是弱智模型。。做个翻译都嫌蠢 第三方 gpt api 还不够便宜？