72 条回复  ·  8571 次点击
Echoleung 初学 2025-1-13 14:44:23
本地无显卡,怎么使用现有模型 api 作为远端服务呢?有教程吗,windows 的?
jonsmith 小成 2025-1-13 14:47:55
star 了,等有显卡了试试
Liftman 小成 2025-1-13 14:55:16
挺好的,适合我们自建。我之前还在烦呢。因为 cursor 跑 ollama 比较麻烦,每个人都配置一下也挺烦,而且 cursor 也不是每个人都首选。 这个就不错。
TimPeake 初学 2025-1-13 14:56:23
按教程 docker 部署完毕, http://localhost:8080 或者指定其他端口,无法打开 ,什么情况
zwpaper 楼主 小成 2025-1-13 14:59:33
@xdeng @Echoleung @jonsmith 本地有显卡是最好的,可以本地跑模型,尤其对于企业来说,数据还很重要的。 没有显卡的情况下,Tabby 也支持使用远端的模型 API ,针对不同的厂商,我们也都有对应的文档,可以参考一下,例如最近很火的 Deepseek V3 和 Deepseek Coder 都可以通过 Deepseek 的 API 运行: https://tabby.tabbyml.com/docs/references/models-http-api/deepseek/
zwpaper 楼主 小成 2025-1-13 15:03:47
@TimPeake 得看一下具体的日志和报错,之前碰到过的 docker 绑了 IPv6 ,还碰到过 localhost 解析异常,或者 GPU 异常,之类的问题 或者各位有条件的话,可以加一下我们的 Slack ,我们可以更好的当好客服工作,哈哈 https://links.tabbyml.com/join-slack-landing
a174871 初学 2025-1-13 15:10:19
如果可以先用 Gemini 体验一下就好了,刚刚看了下文档似乎没提到 Gemini
zwpaper 楼主 小成 2025-1-13 15:13:34
@a174871 因为 Gemini 只有 Chat 模型,所以关注度不算高,不过好像也确实可以把 Chat 模型给他加上,毕竟也是个 LLM 大哥
Rrrrrr 初学 2025-1-13 15:17:30
如果在本地跑,还得用你们的 api 吗?有些公司不让上网的,所以就用不了?
a132811 小成 2025-1-13 15:24:18
允许将整个本地项目代码加入上下文吗?或者指定本地的几个目录的代码作为上下文
返回顶部