- RPM: Anfragen pro Minute (Requests per minute)
- RPD: Anfragen pro Tag (Requests per day)
- Eine Anfrage wird durch einen Aufruf unserer API definiert
- Sie können entweder die RPM- oder RPD-Grenze erreichen, je nachdem, welche Sie zuerst erreichen
- Sie werden in jeder Antwort über den Status Ihrer Ratenbegrenzungen informiert (siehe Ratenbegrenzungs-Response-Header für weitere Informationen)
- Wenn Sie eine Ratenbegrenzung erreichen, erhalten Sie eine Fehlermeldung in Ihrer Antwort (siehe API-Fehlercodes)
- Prüfen Sie die Infercom Status-Seite für Echtzeit-Plattform- und Modellverfügbarkeit
Infercom Inference Service Ratenbegrenzungs-Stufen
Es gibt verschiedene Ratenbegrenzungs-Stufen, die wir anbieten:- Free Tier: Wird angewendet, wenn keine Zahlungsmethode mit Ihrem Konto verknüpft ist
- Developer Tier: Wird angewendet, wenn eine Zahlungsmethode mit Ihrem Konto verknüpft ist
- Enterprise Tier: Höhere Limits für Produktions-Workloads
Besuchen Sie die Abrechnungsseite, um eine Zahlungsmethode mit Ihrem Konto zu verknüpfen.
Modell-Ratenbegrenzungen
- Free Tier
- Developer Tier
- Enterprise Tier
EU-gehostete Modelle (souverän)
Global Model Catalog (nicht-souverän)
Individuelle Limits benötigt? Enterprise-Kunden können individuelle Ratenbegrenzungen basierend auf Workload-Anforderungen anfordern. Kontaktieren Sie den Vertrieb, um Ihre Anforderungen zu besprechen.
Ratenbegrenzungs-Response-Header
Diese Header sind in jeder Antwort enthalten und geben Informationen über den aktuellen Status der Ratenbegrenzungsnutzung. RPM (Anfragen pro Minute):x-ratelimit-limit-requests- Die maximale Anzahl an Anfragen, die pro Minute erlaubt sind.
x-ratelimit-remaining-requests- Die Anzahl der verbleibenden Anfragen in der aktuellen Minute, bevor die Ratenbegrenzung erreicht wird.
x-ratelimit-reset-requests- Zeit in Epoch-Zeit, bis das Minutenkontingent zurückgesetzt wird.
x-ratelimit-limit-requests-day- Die maximale Anzahl an Anfragen, die pro Tag erlaubt sind.
x-ratelimit-remaining-requests-day- Die Anzahl der verbleibenden Anfragen am aktuellen Tag, bevor die Ratenbegrenzung erreicht wird.
x-ratelimit-reset-requests-day- Zeit in Epoch-Zeit, bis das Tageskontingent zurückgesetzt wird.