品玩2月20日讯,OpenAI 近日发布新闻稿,宣布 GPT-4 Turbo 速率上限翻番,每分钟最多可处理 150 万个 token(TPM),而且完全取消了每日限制。
OpenAI 表示,为了防止滥用、确保公平性和管理基础架构负载,限制企业访问 API 的速率。这种限制可以防止恶意超载应用程序接口,确保所有用户都能公平访问,并通过节流指定时间内允许的请求数量,在高需求期间保持平稳的性能。
OpenAI 一共使用了 5 种速率限制:RPM(每分钟请求数)、RPD(每天请求数)、TPM(每分钟 tokens 数量)、TPD(每天 tokens 数量)和 IPM(每分钟图像数量)。需要注意的是,速率限制是对组织级别实施的,对个体用户影响较小。速率限制因所使用的模式而异,组织每月在 API 上的总支出也有 "使用限制"。
0 条评论
请「登录」后评论