速率限制

限制的運作方式

TokSpan 限制請求數量與帳戶額度，確保任何單一客戶都無法排擠共享基礎設施。套用三種限制：

• 每帳戶速率限制 — 您的帳戶在時間視窗內可發出的最大請求數（每分鐘請求數與 Token 數，可依方案／群組設定）。
• 上游供應商限制 — 每個模型供應商都執行自己的吞吐量上限。若供應商飽和，請求可能排入佇列或返回 429。
• 帳戶餘額／額度 — 每個請求在消耗 Token 時會扣除一小部分餘額。當餘額歸零時，請求會被拒絕。

處理 429 回應

429 Too Many Requests 回應表示您已達到速率限制或耗盡額度。回應可能包含 Retry-After 標頭，指示應等待的秒數。建議的處理方式：

1. 檢查 Retry-After 標頭（若存在），等待該時間後再重試。
2. 否則，以帶有抖動的指數退避重試（例如 1 秒 → 2 秒 → 4 秒，加上小幅隨機偏移），避免重試在同一時刻聚集。
3. 若您在生產環境中持續遇到限制，請聯絡我們以提高帳戶的速率限制。

餘額／額度不足

當帳戶或 API 金鑰餘額耗盡時，請求會被拒絕。錯誤回應使用 new_api_error 類型，訊息會提及額度或餘額（例如 insufficient_user_quota）。這不是速率限制 — 在您儲值前重試都無濟於事。

要求更高的限制

需要為生產工作負載提高速率限制？請聯絡支援並附上帳戶 Email 與預期請求量，我們將調整您的限制或設定企業方案。