Portkey-AI gateway

在 GitHub 上有一个称之为 “AI Gateway(AI 网关)” 的工具。

通过统一简单的 API,让你轻松快速接入 100 多种大语言模型,如 OpenAI、Anthropic、Mistral、LLama2、Google Gemini 等。

GitHub:github.com/Portkey-AI/gateway

具有如下特点:

  • 占用空间极小,仅仅约 45kb,但其处理速度极快,达到快 9.9 倍。

  • 可以同时连接多个模型,并能处理多个模型、服务提供商和密钥之间的负载平衡。

  • 设置故障转移机制,当一个模型出现无法使用情况,可自动切换到可用模型,确保你的应用持续稳定运行。

  • 默认配置自动重试,并采用指数回退策略,进一步提高请求的稳定性。

  • 可根据需求添加中间件,满足你个性化需求。

  • 已经在超过 100B Tokens 上进行了实战测试。

image.png