レート制限

制限の仕組み

TokSpan はリクエスト量とアカウントクォータを制限し、単一の顧客が共有インフラを圧迫できないようにします。次の3種類の制限が適用されます：

• アカウントごとのレート制限 — 時間ウィンドウ内でアカウントが実行できる最大リクエスト数（1分あたりのリクエスト数とトークン数。プラン/グループごとに設定可能）。
• 上流プロバイダーの制限 — 各モデルプロバイダーは独自のスループット上限を適用します。プロバイダーが飽和している場合、リクエストがキューに入ったり 429 を返したりすることがあります。
• アカウント残高 / クォータ — 各リクエストはトークンを使用するため、残高のごく一部を消費します。残高がゼロになるとリクエストは拒否されます。

429 レスポンスへの対処

429 Too Many Requests レスポンスは、レート制限に達したかクォータを使い果たしたことを意味します。レスポンスに Retry-After ヘッダーが含まれる場合、待つべき秒数が示されています。推奨される対処：

1. Retry-After ヘッダーがあれば確認し、その時間待ってから再試行してください。
2. それ以外の場合は、ジッター付き指数バックオフ（例: 1秒 → 2秒 → 4秒、ランダムなずれ付き）で再試行し、再試行が群衆雪崩のように集中しないようにしてください。
3. 本番環境で一貫して制限に達する場合は、アカウントのレート制限を引き上げるためお問い合わせください。

残高 / クォータ不足

アカウントまたは API キーの残高が尽きると、リクエストは拒否されます。エラーレスポンスは new_api_error タイプで、クォータや残高に言及するメッセージ（例: insufficient_user_quota）が含まれます。これはレート制限ではありません — クレジットを追加するまで再試行しても意味がありません。

上限引き上げのリクエスト

本番ワークロードでより高いレート制限が必要ですか？サポートまでアカウントメールと想定リクエスト量をご連絡ください。制限を調整するか、エンタープライズプランを設定します。