高度な機能
負荷分散
TokSpan は、スループットを最大化し、レイテンシを最小化し、単一プロバイダーのボトルネックを回避するため、API トラフィックを複数のモデルとプロバイダーに自動的に分散します。設定は一切不要です。
負荷分散戦略
TokSpan は、上流プロバイダー間でリクエストごとに最適な戦略を自動的に選択します：
| 戦略 | 仕組み | 自動的に適用される場面 |
|---|---|---|
| 重み付きランダム | リクエストは健全なプロバイダーに比例配分されます（例：70% と 30%） | 複数の健全なプロバイダー間で負荷を分散するとき |
| 優先度（フェイルオーバー） | トラフィックは最も健全なプロバイダーを優先し、チェーンに沿って自動的にフェイルオーバーします | 優先プロバイダーが健全で、他が自動バックアップを担うとき |
| レート制限ベース | プロバイダーがレート制限に達すると、超過分は他のプロバイダーに振り分けられます | 高スループットのワークロードでプロバイダーがレート制限に達したとき |
設定は一切不要です。ロードバランシングはすべてのリクエストに自動的に適用され、同じモデル名を呼び出すだけで構いません。