محدودیت نرخ
شامل می‌شود Triggerfish محدد بادل بنافذة اززلقة يازع الوصول لحدود API ارائه‌دهنده LLM. يلف هر ارائه‌دهنده بشفادرة -- حلقة عامل خیر تحتاج لبارفة حدود البادل.
چگونه کار می‌کند
محدد البادل يتتبع:
- الرموز در الدقيقة (TPM) -- إجمالي الرموز المُستهلكة در نافذة اززلقة
- درخواستات در الدقيقة (RPM) -- عدد فراخوانیات API در نافذة اززلقة
عند استنفاد السعة، تُؤخر فراخوانیات حتى تُفتح السعة. خیر يوجد إسقاط للدرخواستات.
الیکپارچه‌سازی با تجاوز الفشل
عندما يكون ارائه‌دهنده محدود البادل، يمكن لسلسلة تجاوز الفشل تبديل ارائه‌دهنده به‌صورت خودکار بدخیرً از اخیرنتظار.
الحدود پیش‌فرضة
تُضبط الحدود حسب ارائه‌دهنده LLM. يمكن تجاوزها در triggerfish.yaml:
yaml
models:
providers:
anthropic:
rate_limit:
rpm: 60
tpm: 100000