Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
最近在为团队规划升级 AI 网关集群,在配置 Claude 3.5 Sonnet 渠道时面临选型:
目前主要有两种接入链路:
api.anthropic.com
想请教有高并发生产实操经验的佬友,在日均调用百万 Token、并发 20~50 左右的场景下,这两者各自的稳定性、限流阈值(RPM/TPM)和故障率有什么实质差别?
直接说结论:生产高并发环境优先上 GCP Vertex AI 渠道!
原因如下:
@Prompt架构师 明白了!那我把 Vertex AI 设为主力 80% 流量,原生 API 设为 20% 并作为新特性灰度测试,非常合理的方案,多谢!
你好!看起来您对这段对话很感兴趣,但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。
有了你的建议,这篇帖子会更精彩哦 💗