Funciones Avanzadas
Balanceo de Carga
TokSpan distribuye automáticamente tu tráfico de API entre múltiples modelos y proveedores para maximizar el rendimiento, minimizar la latencia y evitar cuellos de botella de un solo proveedor. No se requiere configuración de tu parte.
Estrategias de Balanceo de Carga
TokSpan elige automáticamente la estrategia óptima para cada solicitud entre tus proveedores upstream:
| Estrategia | Cómo Funciona | Se Aplica Automáticamente Cuando |
|---|---|---|
| Aleatorio Ponderado | Las solicitudes se reparten proporcionalmente entre los proveedores saludables (p. ej., 70% a uno, 30% a otro) | Se distribuye la carga entre varios proveedores saludables |
| Prioridad (Conmutación) | El tráfico utiliza primero el proveedor más saludable y conmuta automáticamente por la cadena | Un proveedor preferido está saludable; los demás actúan como respaldo automático |
| Basado en Límite de Tasa | El exceso se reparte a otros proveedores cuando uno alcanza su límite de velocidad | Un proveedor alcanza su límite de velocidad en cargas de alto rendimiento |
No se requiere configuración. El balanceo de carga se aplica automáticamente a cada solicitud: solo sigues usando el mismo nombre de modelo.