请教，关于显卡内存

运行 llm 需要一定的显卡内存。 但是市面上的显卡内存超过 12G 的话就贵了。

因此有个猜想的方案， 使用 可以分享内存的集成显卡（例如 AMD 的）

然后可以把内存例如 32 G 分配给 集成显卡， 从而达到运行 大参数模型的目的。

当然，我知道 集成显卡算力差，但是有时候验证原型花一些时间等待是可以接受的。

请问有没有人这么做过，或者是否可行？

感谢赐教先。

喜欢玩 LLM ，买 mac

验证原型？验证什么原型。。。

你是不是在找：Mac Studio

可行,意义不大, 会导致频繁的内存-显存交换, wsl2 好像早就可以了, 搜索 NVIDIA shared memory

14b 模型 lora 微调，用 deepspeed offload 到内存和直接跑对比，速度差了一倍。如果能接受就还可行。

用 deepspeed offload 到 cpu(内存)，甚至可以 offload 到硬盘；使用 bf16 混合精度；还可以用 bitsandbytes 量化到 8bit 和 4bit 。

2080ti 22g 魔改版 2200 元

瓶颈在内存性能，每生成一个 token 都要扫一次，普通内存不行

strix halo 了解一下？