高度な機能
自動フェイルオーバー
プライマリモデルプロバイダーにダウンタイムが発生した場合、TokSpan は自動的にトラフィックを同じモデルを提供するバックアッププロバイダーにルーティングします — リクエストの損失や手動介入は一切ありません。
仕組み
TokSpan は上流プロバイダーの状態をリアルタイムで監視しています。プロバイダーが 5xx エラーを繰り返し返すか、タイムアウトしきい値を超えた場合、トラフィックは自動的にフェイルオーバーチェーン内の次のプロバイダーにリダイレクトされます。プライマリが復旧すると、トラフィックは通常のルーティングに戻ります。
フェイルオーバーチェーンは、TokSpan が上流プロバイダー間で自動的に設定します。お客様側での設定は不要で、同じモデル名を呼び出すだけです。
設定は一切不要です。フェイルオーバーはすべてのモデルで自動的に有効化されます。ダッシュボードでの設定は何もなく、コードも完全にそのままで構いません。
TokSpan が構築するフェイルオーバーチェーン
すべてのモデルについて、TokSpan は同じモデルを提供する複数のプロバイダー間にフェイルオーバーチェーンを維持します。プライマリプロバイダーに障害が発生すると、トラフィックはその同じモデルの次の健全なプロバイダーへ自動的に流れます — お客様の操作は不要です。
| 優先度 | モデル | プロバイダー | 使用方法 |
|---|---|---|---|
| 1（プライマリ） | GPT series | OpenAI | プライマリの選択肢 — 総合的に最高品質 |
| 2（フォールバック） | GPT series | other model providers | 同じモデルのバックアップルート |
同じモデルのルーティング：プライマリルートが失敗した場合、TokSpan は同じモデルのバックアップルート（例：GPT 系列を提供する別のプロバイダー）に切り替えます。フェイルオーバーが別のモデルに跨ることはありません — 出力は一貫性を保ちつつ、プロバイダーの障害も自動的に処理されます。
フェイルオーバーイベントの監視
フェイルオーバーのアクティビティは以下で追跡できます：
- ダッシュボードのログ — リクエスト履歴を確認して、トラフィックがバックアッププロバイダーに切り替わったことを確認できます
- Webhooks — アカウントでリアルタイム通知を設定できます（Webhooks を参照）
- 使用量分析 — モデルごとの使用量の急増がフェイルオーバーのアクティビティを示します