为什么要在本地部署大模型?

ota · 2024-11-4 19:31:02 · 78 次点击

AI 已经相当成熟了,至少画图方面,我走了一遍流程,基本可以落地应用了。

但不乏还是有不少人需要自建,姑且不说自建需要很多硬件资源,部署,调试,以及更新,也不是一劳永逸的事情。其次还涉及不少构架设计方面的专业知识,比如分布式,GPU 资源分配释放调度,还有很多监控,自动运维等。需要不少精力和时间,金钱投入一次性也不低,就算模拟构建拿古董机来,转入生产也有不少意外发生。尽职测试也得花一些周期。

所以为什么还有人跑本地?仅仅是为了方便?

大多数都有套壳的服务,需要直接生产的,基本也没问题。 其次也有很多可以自行上传大模型的,也可以让你自己训练。

不光不需要解决硬件这块问题,连软件问题很多也能自动帮你更新试错,成本也压的很低了,不少还有免费额度能做基础测试。如果真要自己跑,也可以云端大模型,比自己买 4090 甚至禁运的显卡也能用到。大平台郡能做到 pay as you go ,所以本地跑大模型再次觉得是一件没有意义的事情。毕竟第一本地你不是实验室或者机房,就没办法获得更多硬件资源,光硬件成本就很高,其次生成速度也会打折,并没有云端加钱就能解决来的高效。

我想很多人会在云端跑大模型,但还是看到很多很多人误导大家教大家在本地搭建进行训练。是不是有点误人子弟?

举报· 78 次点击
登录 注册 站外分享
5 条回复  
frankyzf 小成 2024-11-4 20:25:14
部署到本地很大一部分是因为数据安全,没法在云上泡。数据脱敏成本太高。
jhytxy 小成 2024-11-4 20:33:38
很多人的数据就不能出内网 不自建咋办
yplam 小成 2024-11-4 21:50:01
譬如 flux.dev+lora 这种,或者是 comfyui 工作流,貌似没找到好用的 api
xing7673 小成 2024-11-4 22:16:34
可用性 数据安全 省 api 钱,可以做各种实验而不用担心 token 高额消费 灵活,比如小模型能解决的事情就不需要大模型输出费时间了 学习搭建,形成个性化的使用方案 掌控感 etc
cmdOptionKana 初学 2024-11-4 22:20:48
比如尺度比较大的成人内容,用别人的服务总觉得不安心
maolon 小成 2024-11-4 22:26:35
就是有些不方便上 api 的信息,比如你处理私人信息你是相信那些大厂或者套壳呢还是一劳永逸在本地运行解决问题?
返回顶部