تحديد المعدل
يتضمن Triggerfish محدد معدل بنافذة منزلقة يمنع الوصول لحدود API مزود LLM. يلف أي مزود بشفافية -- حلقة الوكيل لا تحتاج لمعرفة حدود المعدل.
كيف يعمل
محدد المعدل يتتبع:
- الرموز في الدقيقة (TPM) -- إجمالي الرموز المُستهلكة في نافذة منزلقة
- الطلبات في الدقيقة (RPM) -- عدد استدعاءات API في نافذة منزلقة
عند استنفاد السعة، تُؤخر الاستدعاءات حتى تُفتح السعة. لا يوجد إسقاط للطلبات.
التكامل مع تجاوز الفشل
عندما يكون المزود محدود المعدل، يمكن لسلسلة تجاوز الفشل تبديل المزود تلقائياً بدلاً من الانتظار.
الحدود الافتراضية
تُضبط الحدود حسب مزود LLM. يمكن تجاوزها في triggerfish.yaml:
yaml
models:
providers:
anthropic:
rate_limit:
rpm: 60
tpm: 100000