進階功能

自動容錯移轉

當您的主要模型供應商發生停機時,TokSpan 會自動將流量路由至提供同一模型的備份供應商 — 零請求丟棄、零人工介入。

運作方式

TokSpan 即時監控上游供應商健康狀態。當供應商重複返回 5xx 錯誤或超過逾時閾值時,流量將自動重新導向至您容錯移轉鏈中的下一家供應商。主供應商恢復後,流量恢復正常路由。

容錯移轉鏈已由 TokSpan 在上游供應商之間自動配置。您無需任何設定——只要繼續使用同一個模型名稱即可。

完全無需設定。每個模型都會自動啟用容錯移轉——您無需在儀表板中進行任何配置,程式碼也完全不需要改動。

TokSpan 如何為您建構容錯移轉鏈

對每個模型,TokSpan 都會在提供同一模型的多個供應商之間維護容錯移轉鏈。若主要供應商故障,流量會自動流向該模型的下一家健康供應商——您無需任何操作。

優先順序模型供應商使用方式
1(主要)GPT seriesOpenAI主要選擇 — 最佳整體品質
2(備援)GPT seriesother model providers同一模型的備援路由
同一模型路由:當主要路由故障時,TokSpan 會切換到同一模型的備援路由(例如提供 GPT 系列的另一個供應商)。容錯移轉不會跨到不同模型——您的輸出保持一致,同時供應商故障仍會自動處理。

監控容錯移轉事件

您可以透過以下方式追蹤容錯移轉活動:

  • 儀表板日誌 — 查看您的請求記錄,確認流量已切換至備援供應商
  • Webhooks — 在您的帳戶中設定即時通知(請參閱Webhooks
  • 用量分析 — 各模型用量激增表示容錯移轉活動