進階功能
自動容錯移轉
當您的主要模型供應商發生停機時,TokSpan 會自動將流量路由至提供同一模型的備份供應商 — 零請求丟棄、零人工介入。
運作方式
TokSpan 即時監控上游供應商健康狀態。當供應商重複返回 5xx 錯誤或超過逾時閾值時,流量將自動重新導向至您容錯移轉鏈中的下一家供應商。主供應商恢復後,流量恢復正常路由。
容錯移轉鏈已由 TokSpan 在上游供應商之間自動配置。您無需任何設定——只要繼續使用同一個模型名稱即可。
完全無需設定。每個模型都會自動啟用容錯移轉——您無需在儀表板中進行任何配置,程式碼也完全不需要改動。
TokSpan 如何為您建構容錯移轉鏈
對每個模型,TokSpan 都會在提供同一模型的多個供應商之間維護容錯移轉鏈。若主要供應商故障,流量會自動流向該模型的下一家健康供應商——您無需任何操作。
| 優先順序 | 模型 | 供應商 | 使用方式 |
|---|---|---|---|
| 1(主要) | GPT series | OpenAI | 主要選擇 — 最佳整體品質 |
| 2(備援) | GPT series | other model providers | 同一模型的備援路由 |
同一模型路由:當主要路由故障時,TokSpan 會切換到同一模型的備援路由(例如提供 GPT 系列的另一個供應商)。容錯移轉不會跨到不同模型——您的輸出保持一致,同時供應商故障仍會自動處理。
監控容錯移轉事件
您可以透過以下方式追蹤容錯移轉活動:
- 儀表板日誌 — 查看您的請求記錄,確認流量已切換至備援供應商
- Webhooks — 在您的帳戶中設定即時通知(請參閱Webhooks)
- 用量分析 — 各模型用量激增表示容錯移轉活動