Rate Limitingは、クライアントが一定時間内にAPIに送信できるリクエスト数を制限する制御メカニズムで、サーバーを不正使用から保護します。
Rate Limitingとは?
Rate Limiting(レート制限)は、クライアントが一定時間内に実行できるリクエスト数を制御するために、APIによって実装される保護メカニズムです。インフラストラクチャを過負荷から保護し、すべてのユーザーに公平なサービスを保証します。
仕組みは?
許可された制限を超えると、APIはHTTPステータスコード429 Too Many Requestsを返します。レスポンスヘッダーには、消費状況に関する情報が含まれます:
X-RateLimit-Limit:ウィンドウあたりの最大リクエスト数X-RateLimit-Remaining:残りのリクエスト数X-RateLimit-Reset:リセットのタイムスタンプ
管理戦略
- 指数バックオフ:再試行間の遅延を段階的に増やす
- キャッシュ:冗長な呼び出しを避けるためにレスポンスをローカルに保存
- キュー:リクエストをキューに入れて間隔を空ける
AI Labs AuditにおけるRate Limiting
AI Labs AuditのREST APIは、APIキーあたり1分間に60リクエストを許可しています。レスポンスヘッダーには、消費量を管理できるよう、常にレート制限情報が含まれています。
AIの回答で、担当するブランドはどのように紹介されていますか?
代理店、コンサルタント、社内チーム向け。独自のシナリオと選択した言語・モデルで得られた回答を比較できます。私たちのインフラと、皆様のシナリオ・専門知識を組み合わせてください。