safetensors 模型部署请教

WolverineL · 2024-11-11 17:46:27 · 432 次点击

大佬们,我现在有两个 safetensors 格式的模型文件,一个只有 130M ,另一个 3G+ 我现在想要部署这个模型使用,我不太清楚这两个文件都是什么意思,我需要怎么部署,纯新手 有没有操作案例或者示例代码 指引一下迷路人

举报· 432 次点击
登录 注册 站外分享
3 条回复  
zhmouV2 初学 2024-11-11 18:22:02
safetensors 不包含模型本身的结构,只有模型参数,你得知道这个模型是啥样的。然后 safetensors 一般还是用 python 部署吧,就是安装一下 pytorch 之类的框架,最后用 gpt 写个示例代码就行。
WolverineL 楼主 初学 2024-11-11 18:53:30
@zhmouV2 我 gpt 了个示例代码,但是一直跑不起来 不知道模型该怎么用,130M 和 3G 都只是参数吗 我看 130M 是张量 3G 那个我也不知道是什么 ,现在的场景就是只给了我两个 safetensors 文件,让部署
WolverineL 楼主 初学 2024-11-11 18:58:25
是 Lora 模型 safetensors 格式
返回顶部