Расширенные возможности

Пользовательская маршрутизация

TokSpan автоматически направляет каждый запрос к оптимальному вышестоящему провайдеру — по стоимости, возможностям или уровню доступа вашей учётной записи. Прозрачно для вашего кода.

Как работает маршрутизация в TokSpan

TokSpan использует интеллектуальный слой маршрутизации. Каждое имя модели разрешается в лучшего вышестоящего провайдера и модель для этого запроса — автоматически, без изменений в коде.

Маршрутизация полностью автоматическая. Вам не нужно настраивать каналы или приоритеты — просто вызовите нужное имя модели, и TokSpan выберет лучший бэкенд.

Типовые схемы маршрутизации

Маршрутизация с оптимизацией стоимости

Вызовите общее имя модели, например gpt-4o, и TokSpan отправит его самому экономичному из доступных провайдеров.

Маршрутизация по ключам

Создавайте отдельные API-ключи для разных целей, ограничивая каждый необходимыми моделями и бюджетом:

  • Задачи, чувствительные к стоимости → Ключ, ограниченный бюджетными моделями (GPT mini, Gemini Flash, DeepSeek)
  • Премиальные задачи → Ключ с доступом к флагманским моделям (GPT, Claude Opus, Gemini Pro)
  • Приложения для клиентов → Ключ с бюджетным лимитом для предсказуемых расходов

Маршрутизация по возможностям

TokSpan внутренне группирует модели по возможностям и направляет каждую задачу на наиболее подходящую модель:

  • Помощь в написании кода — направляется на модели, оптимизированные для кода (Claude Opus / GPT / DeepSeek)
  • Создание контента — направляется на модели с балансом качества и скорости (Claude Sonnet / GPT / Gemini Pro)
  • Анализ данных — направляется на модели с наибольшими контекстными окнами
Ограничение ключей позволяет ограничить, к каким моделям имеет доступ каждый ключ. Подробнее см. Аутентификация — Ограничение ключей.