Định Tuyến Tùy Chỉnh

Cách Thức Định Tuyến Trong TokSpan

TokSpan sử dụng lớp định tuyến thông minh. Mỗi tên mô hình bạn gọi được tự động phân giải đến nhà cung cấp và mô hình tốt nhất — không cần thay đổi mã.

Các Mẫu Định Tuyến Phổ Biến

Định Tuyến Tối Ưu Chi Phí

Gọi một tên mô hình chung như gpt-4o, TokSpan sẽ gửi nó đến nhà cung cấp tiết kiệm nhất hiện có.

Định tuyến theo khóa

Tạo các khóa riêng cho từng mục đích, mỗi khóa giới hạn trong các mô hình và ngân sách bạn cần:

• Khối lượng công việc nhạy chi phí → Khóa giới hạn trong các mô hình tiết kiệm (GPT mini, Gemini Flash, DeepSeek)
• Khối lượng cao cấp → Khóa có quyền truy cập mô hình hàng đầu (GPT, Claude Opus, Gemini Pro)
• Ứng dụng phục vụ khách hàng → Khóa có giới hạn ngân sách để kiểm soát chi tiêu

Định Tuyến Theo Khả Năng

TokSpan nhóm nội bộ các mô hình theo khả năng và định tuyến mỗi khối lượng công việc đến mô hình phù hợp nhất:

• Hỗ trợ viết code — Được định tuyến đến mô hình tối ưu cho code (Claude Opus / GPT / DeepSeek)
• Viết nội dung — Được định tuyến đến mô hình cân bằng chất lượng và tốc độ (Claude Sonnet / GPT / Gemini Pro)
• Phân tích dữ liệu — Được định tuyến đến mô hình có cửa sổ ngữ cảnh lớn nhất