@jybox #2 还有一种情况，如果是用的按实例时长收费的 Serverless 服务，影响就更大了

因为没有需求吧，LLM 的接口通常来说 body 不会很大，不像对象存储那样费流量，有急切的节省服务器流量的需求。你这种需求的话，自己做个服务转发一下，也是很容易的。

@ZeroClover 你说的没错，但是我觉得还有一个重要原因就是 OpenAI 没做，问题是 OpenAI 的 API 又不愁卖，OpenAI 如果做了他们肯定抄的很快

因为实际开发场景并不是这样，并不是 ChatGPT 套壳。 内部很多逻辑的，直连大模型没有什么好处

@iyaozhen 我猜你说的那些逻辑也可以放在客户端

因为客户端默认都是不可信的，你不能期望客户端可以限制住用户的请求，想想如果客户破解客户端拿到了 API KEY ，是不是就可以不受限制的调用大模型了？

你这不就找到商机了么

@tt83 #14 客户端怎么更新呢，下载 app ？增加拉取 prompt 接口，web 端的话。prompt 核心资产如何保密，换模型怎么办 当然都可以客户端实现，我说的是，为了一个直连这点微乎其微的好处，增加了一堆麻烦，没必要 为什么说微乎其微：减轻服务端压力，本身并没有什么压力，没有 cpu 密集型操作，换成客户端边缘计算没收益 响应速度，这个就更难说了，一方面 llm 本身就很慢，快 10ms 也没啥用。另一方面，客户端环境复杂，且不说跨境合规，就国内各个地方网络就很复杂，而且也不可控，比如我要用 http/3 不一定支持

因为大模型服务商只提供模型服务，在工程方面就比较简单粗暴，一般大模型网关就提供有有效期的 apikey 了，通过 one-api 等服务转发一下即可

@tt83 #12 OpenAI API 有巨量功能其他 AI 公司都没有的 大部分公司也就只是抄了下 Chat Completion 而已 而且让客户端直连模型 API 目前也看不出来有什么特别具体的好处