GPU 虚拟化有哪些应用场景？

老板让做这个需求，但是个人对应用的场景比较疑惑？ 预期是在 K8S 上，将卡根据算力和显存维度划分，分给不同的租户。

现在的大模型随随便便吃几十个 G 的显存，做推理时会考虑用虚拟化后的卡么？ 或者不是大模型场景，什么样的用户需求会使用到虚拟化后的小小卡呢？

视频转码，小模型在线推理之类的会用到。

https://pc.haimacloud.com/

开发机，小模型（ CV ）推理。

目的是 最大化 售卖算力 本质和 12306 卖火车票一样的. a-b + b-c = a-c

阿里云 GPU 去年这会儿 T4 每小时几毛钱，春节后就涨了 10 倍，还不是因为租的人太多了 现在 AI 开源项目大都需要 GPU 运行，语音识别，逻辑推理，图片生成。。。

现代操作系统和应用程序基本都抛弃了没有 GPU 加速的硬件了，你用 qxl 显卡跑一下 electron 或者 flutter 就知道有多难受了

不能一上来就是大模型把，想想没有大模型之前，GPU 都用来做什么

云游戏

@moefishtang 当我没说