项目地址:GitHub - yym68686/uni-api: This is a project that unifies the management of large model APIs. It can call multiple backend services through a unified API interface, convert them to the OpenAI format uniformly, and support load balancing. Currently supported backend services include: OpenAI, Anthropic, DeepBricks, OpenRouter, Gemini, Vertex, etc.


简介


如果个人使用的话,one/new-api 过于复杂,有很多个人不需要使用的商用功能,如果你不想要复杂的前端界面,有想要支持的模型多一点,可以试试 uni-api。这是一个统一管理大模型API的项目,可以通过一个统一的API接口调用多个后端服务,统一转换为 OpenAI 格式,支持负载均衡。目前支持的后端服务有:OpenAI、Anthropic、Gemini、Vertex、Cohere、Groq、Cloudflare、DeepBricks、OpenRouter 等。


uni-api 的主要优势




  • 无前端,纯配置文件配置 API 渠道。只要写一个文件就能运行起一个属于自己的 API 站,文档有详细的配置指南,小白友好。




  • 统一管理多个后端服务,支持 OpenAI、Deepseek、DeepBricks、OpenRouter 等其他 API 是 OpenAI 格式的提供商。支持 OpenAI Dalle-3 图像生成。




  • 同时支持 Anthropic、Gemini、Vertex AI、Cohere、Groq、Cloudflare。Vertex 同时支持 Claude 和 Gemini API。




  • 支持 OpenAI、 Anthropic、Gemini、Vertex 原生 tool use 函数调用。




  • 支持 OpenAI、Anthropic、Gemini、Vertex 原生识图 API。




  • 支持四种负载均衡。






  1. 支持渠道级加权负载均衡,可以根据不同的渠道权重分配请求。默认不开启,需要配置渠道权重。




  2. 支持 Vertex 区域级负载均衡,支持 Vertex 高并发,最高可将 Gemini,Claude 并发提高 (API数量 * 区域数量) 倍。自动开启不需要额外配置。




  3. 除了 Vertex 区域级负载均衡,所有 API 均支持渠道级顺序负载均衡,提高沉浸式翻译体验。自动开启不需要额外配置。




  4. 支持单个渠道多个 API Key 自动开启 API key 级别的轮训负载均衡。






  • 支持自动重试,当一个 API 渠道响应失败时,自动重试下一个 API 渠道。




  • 支持细粒度的权限控制。支持使用通配符设置 API key 可用渠道的特定模型。




  • 支持限流,可以设置每分钟最多请求次数,可以设置为整数,如 2/min,2 次每分钟、5/hour,5 次每小时、10/day,10 次每天,10/month,10 次每月,10/year,10 次每年。默认60/min。




  • 支持多个标准 OpenAI 格式的接口:/v1/chat/completions/v1/images/generations/v1/audio/transcriptions/v1/moderations/v1/models




  • 支持 OpenAI moderation 道德审查,可以对用户的消息进行道德审查,如果发现不当的消息,会返回错误信息。降低后台 API 被提供商封禁的风险。




已稳定运行 3 个月。期间还在我们论坛压测过,详帖:



经过佬友们的测试,在高并发场景下,运行稳定。


我的其他项目:




uni-api 一直用在我的 Telegram 机器人项目上,所以稳定性大家请放心。


如果各位遇到什么 bug 或者有什么功能需求都可以找我实现。如果觉得不错可以帮我点个免费的 :star2::heart:

举报· 339 次点击
登录 注册 站外分享
19 条回复  
handsome 限制会员 2024-9-2 18:23:42

太强啦大佬,主要是newapi用习惯了

anonymousCoder 初学 2024-9-2 18:23:42

无前端的话 我怎么方便地更新/增删查改渠道哩。这个前端还是得有的。

Lester 初学 2024-9-2 18:23:42

star奉上

Cai_Cai 初学 2024-9-2 18:23:42

我是小白 先点赞 明天试 有问题请教佬

xjfkkk 初学 2024-9-2 18:23:42

大帅666啊

rick 初学 2024-9-2 18:23:42

感觉理念跟这个差不多


joegodwanggod 初学 2024-9-2 18:23:42

不知道有沒有自動檢測模型的功能

Keyman 初学 2024-9-2 18:23:42

谢谢分享,我计划等手头工作弄完我就弄一下,我也是觉得api 和key太多,没办法做一个集成,我现在就是记在一个文件上,换来换去也很麻烦,我也很有需求做一个集成端放这些key和api

user135 初学 2024-9-2 18:23:42

基于配置文件的?

可能带个 UI 更好些?

12下一页
返回顶部