AI 已经相当成熟了,至少画图方面,我走了一遍流程,基本可以落地应用了。
但不乏还是有不少人需要自建,姑且不说自建需要很多硬件资源,部署,调试,以及更新,也不是一劳永逸的事情。其次还涉及不少构架设计方面的专业知识,比如分布式,GPU 资源分配释放调度,还有很多监控,自动运维等。需要不少精力和时间,金钱投入一次性也不低,就算模拟构建拿古董机来,转入生产也有不少意外发生。尽职测试也得花一些周期。
所以为什么还有人跑本地?仅仅是为了方便?
大多数都有套壳的服务,需要直接生产的,基本也没问题。
其次也有很多可以自行上传大模型的,也可以让你自己训练。
不光不需要解决硬件这块问题,连软件问题很多也能自动帮你更新试错,成本也压的很低了,不少还有免费额度能做基础测试。如果真要自己跑,也可以云端大模型,比自己买 4090 甚至禁运的显卡也能用到。大平台郡能做到 pay as you go ,所以本地跑大模型再次觉得是一件没有意义的事情。毕竟第一本地你不是实验室或者机房,就没办法获得更多硬件资源,光硬件成本就很高,其次生成速度也会打折,并没有云端加钱就能解决来的高效。
我想很多人会在云端跑大模型,但还是看到很多很多人误导大家教大家在本地搭建进行训练。是不是有点误人子弟?
|