進階功能
負載平衡
TokSpan 會自動在您使用的多個模型與供應商之間分配 API 流量，以最大化吞吐量、最小化延遲，並避免單一供應商瓶頸。您無需進行任何設定。
負載平衡策略
TokSpan 會自動為每個請求選擇最優策略，在眾多上游供應商之間分配：
| 策略 | 運作方式 | 自動套用的情境 |
|---|---|---|
| 加權隨機 | 請求會按比例分散到健康的供應商（例如 70% 給其一、30% 給另一） | 在多個健康供應商之間分散負載 |
| 優先順序（容錯移轉） | 流量優先使用最健康的供應商，並自動沿鏈路向下容錯移轉 | 首選供應商健康；其他供應商作為自動備援 |
| 基於速率限制 | 當某一供應商達到速率限制時，多餘流量會分流到其他供應商 | 某個供應商在高吞吐量工作負載下達到速率限制 |
完全無需設定。每個請求都會自動套用負載平衡——您只需繼續呼叫同一個模型名稱。