Расширенные возможности
Балансировка нагрузки
TokSpan автоматически распределяет ваш API-трафик между несколькими моделями и провайдерами, чтобы максимизировать пропускную способность, минимизировать задержку и избежать узких мест одного провайдера. Настройка не требуется.
Стратегии балансировки нагрузки
TokSpan автоматически выбирает оптимальную стратегию для каждого запроса среди вышестоящих провайдеров:
| Стратегия | Как работает | Автоматически применяется, когда |
|---|---|---|
| Взвешенный случайный выбор | Запросы распределяются пропорционально между здоровыми провайдерами (например, 70% одному, 30% другому) | Нужно распределить нагрузку между несколькими работоспособными провайдерами |
| Приоритетная (фейловер) | Трафик использует самого здорового провайдера, автоматически переключаясь вниз по цепочке | Предпочтительный провайдер работоспособен, остальные — автоматический резерв |
| На основе лимитов запросов | Избыточный трафик распределяется на других провайдеров, когда один достигает лимита скорости | Провайдер достигает лимита скорости при высоконагруженных задачах |
Настройка не требуется. Балансировка нагрузки применяется автоматически к каждому запросу — просто продолжайте использовать то же имя модели.