请教，关于显卡内存

运行 llm 需要一定的显卡内存。 但是市面上的显卡内存超过 12G 的话就贵了。

因此有个猜想的方案， 使用 可以分享内存的集成显卡（例如 AMD 的）

然后可以把内存例如 32 G 分配给 集成显卡， 从而达到运行 大参数模型的目的。

当然，我知道 集成显卡算力差，但是有时候验证原型花一些时间等待是可以接受的。

请问有没有人这么做过，或者是否可行？

感谢赐教先。

苹果统一内存，咔咔整

ROG 在今年 CES 上发布的幻 X 着重就讲了这点，128G 统一内存可以分配给核显跑模型

strix halo 了解一下？

瓶颈在内存性能，每生成一个 token 都要扫一次，普通内存不行

2080ti 22g 魔改版 2200 元

用 deepspeed offload 到 cpu(内存)，甚至可以 offload 到硬盘；使用 bf16 混合精度；还可以用 bitsandbytes 量化到 8bit 和 4bit 。

14b 模型 lora 微调，用 deepspeed offload 到内存和直接跑对比，速度差了一倍。如果能接受就还可行。

可行,意义不大, 会导致频繁的内存-显存交换, wsl2 好像早就可以了, 搜索 NVIDIA shared memory

你是不是在找：Mac Studio