跑 sd 就用 4090 吧，跑推理的话显存需求不大，24G 完全够用。而别的实现连 flash attention 都没有，反而会需要更多的内存，O （ n ）和 O （ n^2 ）的区别。

mac 是很一般的算力 + 大容量的（内存）显存的组合，唯一的用处是跑单 batch LLM 推理这种极为特殊的 workload ，跑别的计算密集的负载，比如 stable diffusion ，都极为拉垮：m2 max gpu 的 fp16 性能为 26.98 TFLOP/s ，而 4090 为 350 TFLOP/s 以上（ tensor core ）

原来还真有人信了 mac 那残疾独显（除开低功耗区间的能效比优势）能跑 DL 呀……

你要出图为啥要本地运行，脚本写好，在云端服务器跑才是王道。用你购买设备的钱，足够出 10w+的图了

所以 mac 跑这种吃设备的程序还是不得行嘛 https://i.imgur.com/agAJ0Rd.png

@huihushijie1996 别说 m1 系列了，A 卡都得劲。老老实实老黄家的吧

mac 跑 sd 就纯折磨。
至少我是 32G 的 M1 Pro ，用起来只能算是勉强可以出图。512 的图 25 step ，也要 1 分钟左右。

我用 A100 都觉得慢 https://i.imgur.com/ZveiiGy.png

跑语言模型可以用 mac ，跑图尽量还是上英伟达吧

直接用 Poe 上的

@ShadowPower 模型都是计算密集型，包括语言模型