Límites de Tasa

Cómo funcionan los límites

TokSpan limita el volumen de solicitudes y la cuota de cuenta para que ningún cliente pueda saturar la infraestructura compartida. Se aplican tres tipos de límites:

• Límites de tasa por cuenta — El número máximo de solicitudes que tu cuenta puede realizar en una ventana de tiempo (solicitudes/min y tokens/min, configurable por plan/grupo).
• Límites del proveedor upstream — Cada proveedor de modelos aplica sus propios techos de rendimiento. Si un proveedor está saturado, las solicitudes pueden ponerse en cola o devolver 429.
• Saldo / cuota de cuenta — Cada solicitud consume una pequeña parte de tu saldo a medida que usa tokens. Cuando tu saldo llega a cero, las solicitudes se rechazan.

Manejo de respuestas 429

Una respuesta 429 Too Many Requests significa que alcanzaste un límite de tasa o agotaste tu cuota. La respuesta puede incluir un header Retry-After que indica cuántos segundos esperar. Manejo recomendado:

1. Revisa el header Retry-After, si está presente, y espera ese tiempo antes de reintentar.
2. De lo contrario, reintenta con backoff exponencial y jitter (p. ej. 1s → 2s → 4s, con un pequeño desfase aleatorio) para que los reintentos no se acumulen en una avalancha.
3. Si alcanzas los límites de forma consistente en producción, contáctanos para aumentar el límite de tasa de tu cuenta.

Saldo / cuota insuficiente

Cuando el saldo de tu cuenta o clave API se agota, las solicitudes se rechazan. La respuesta de error usa el tipo new_api_error con un mensaje que menciona cuota o saldo (p. ej. insufficient_user_quota). Esto no es un límite de tasa: reintentar no ayudará hasta que agregues créditos.

Solicitar límites más altos

¿Necesitas límites de tasa más altos para una carga de producción? Contacta al soporte con tu correo de cuenta y el volumen de solicitudes esperado, y ajustaremos tus límites o configuraremos un plan empresarial.