Rate Limitingは、クライアントが一定時間内にAPIに送信できるリクエスト数を制限する制御メカニズムで、サーバーを不正使用から保護します。
Rate Limitingとは?
Rate Limiting(レート制限)は、クライアントが一定時間内に実行できるリクエスト数を制御するために、APIによって実装される保護メカニズムです。インフラストラクチャを過負荷から保護し、すべてのユーザーに公平なサービスを保証します。
仕組みは?
許可された制限を超えると、APIはHTTPステータスコード429 Too Many Requestsを返します。レスポンスヘッダーには、消費状況に関する情報が含まれます:
X-RateLimit-Limit:ウィンドウあたりの最大リクエスト数X-RateLimit-Remaining:残りのリクエスト数X-RateLimit-Reset:リセットのタイムスタンプ
管理戦略
- 指数バックオフ:再試行間の遅延を段階的に増やす
- キャッシュ:冗長な呼び出しを避けるためにレスポンスをローカルに保存
- キュー:リクエストをキューに入れて間隔を空ける
AI Labs AuditにおけるRate Limiting
AI Labs AuditのREST APIは、APIキーあたり1分間に60リクエストを許可しています。レスポンスヘッダーには、消費量を管理できるよう、常にレート制限情報が含まれています。
顧客がブランド名を挙げずにAIに尋ねると、別の誰かが推薦されます。運用中のブランドはどうでしょう?
ChatGPTへの質問で回答にブランド名が挙がらなければ、その分だけ競合が代わりに推奨されます,, 実際のAI回答6,820件で測定。