Автоматическое переключение

Как это работает

TokSpan отслеживает состояние upstream-провайдеров в реальном времени. Когда провайдер возвращает повторяющиеся ошибки 5xx или превышает порог тайм-аута, трафик автоматически перенаправляется на следующего провайдера в вашей цепочке фейловера. Как только основной провайдер восстанавливается, трафик возвращается к нормальной маршрутизации.

Цепочка автоматического переключения настраивается TokSpan автоматически между нашими вышестоящими провайдерами. Никакой настройки с вашей стороны не требуется — просто продолжайте использовать то же имя модели.

Настройка не требуется. Автоматическое переключение включено на каждой модели — настраивать в панели нечего, а ваш код остаётся без изменений.

Как TokSpan строит цепочку переключения

Для каждой модели TokSpan поддерживает цепочку переключения между несколькими провайдерами, обслуживающими одну и ту же модель. Если основной провайдер выходит из строя, трафик автоматически направляется к следующему работоспособному провайдеру этой же модели — от вас ничего не требуется.

Приоритет	Модель	Провайдер	Как используется
1 (Основной)	GPT series	OpenAI	Основной вариант — лучшее общее качество
2 (Резервный)	GPT series	other model providers	Резервный маршрут для той же модели

Маршрутизация той же модели: Если основной маршрут недоступен, TokSpan переключается на резервный маршрут той же модели (например, другого провайдера, обслуживающего серию GPT). Переключение никогда не переходит на другую модель — вывод остаётся согласованным, а сбои провайдеров обрабатываются автоматически.

Мониторинг событий фейловера

Вы можете отслеживать активность фейловера через:

Журналы панели управления — Просматривайте историю запросов, чтобы убедиться, что трафик переключился на резервного провайдера
Webhooks — Настройте уведомления в реальном времени в аккаунте (см. Webhooks)
Аналитика использования — Всплески использования отдельных моделей указывают на активность переключения на резервного провайдера