Ratenlimit
Kurz gesagtEin Ratenlimit begrenzt, wie viele Anfragen oder Token du in einer Zeitspanne an eine KI-API senden darfst; darüber kommt ein Fehler, meist HTTP 429.
Einfach erklärt
Anbieter schützen ihre Server und verteilen die Kapazität fair. Dafür setzen sie Ratenlimits auf die API-Nutzung. Ein Limit zählt etwas pro Minute oder pro Tag. Gängige Masse sind Anfragen pro Minute (RPM), Token pro Minute (TPM) und Anfragen pro Tag (RPD). Anthropic teilt das Token-Limit in Eingabe- und Ausgabe-Token pro Minute. OpenAI nennt fünf Masse, darunter Bilder pro Minute, und sagt, es gelte das Limit, das du zuerst erreichst.
Gehst du darüber, liefert die API einen Fehler. Anthropic und OpenAI nutzen dafür den HTTP-Status 429. Die Antwort von Anthropic kann einen Header retry-after enthalten, der die Wartezeit in Sekunden nennt.
Die Limits wachsen mit deiner Nutzungsstufe. Bei OpenAI steigt eine Organisation in höhere Stufen auf, wenn ihre Guthabenkäufe wachsen. Bei Anthropic hängen die Stufen von Nutzungsverlauf und Kontostand ab. Google wendet Limits pro Projekt an, nicht pro API-Key, und sagt, die Limits unterschieden sich je nach Modell, mit engeren für experimentelle und Vorschau-Modelle.
Warum es wichtig ist
- Gescheiterte Anfragen: Ohne Vorkehrung führt ein Lastspitzen-Schub zu Fehlern bei deinen Nutzern.
- Gestaltung: Nutze Wiederholungen mit wachsenden Pausen (Backoff), verteile Aufträge über die Zeit oder nimm die Batch-API für Arbeit, die warten darf.
- Auch Token zählen: Lange Prompts brauchen ein Token-pro-Minute-Limit schnell auf.
- Caching hilft: Bei den meisten Claude-Modellen zählt Anthropic nur ungecachte Eingabe-Token zum Eingabelimit, darum steigert Prompt Caching deinen wirksamen Durchsatz.
- Nicht dasselbe wie ein Ausgabelimit: Ein Ratenlimit begrenzt das Tempo, ein Ausgabelimit das Geld. Anthropic kennt beide; ein erreichtes Ausgabelimit pausiert die Nutzung bis zum nächsten Monat oder bis du es hebst.
Bei Chat-Abos heisst die entsprechende Idee Nutzungslimit.
Beispiel
Dein Limit liegt bei 60 Anfragen pro Minute. Ein Skript sendet 200 Zusammenfassungs-Anfragen in zehn Sekunden. Die API nimmt die ersten 60 an und liefert dann 429-Fehler. Die Lösung: mit kurzer Pause senden oder nach der Wartezeit wiederholen, die die API nennt. Ein Skript, das in einer Schleife sofort wiederholt, macht es schlimmer.
Häufige Irrtümer
- «Ein 429 heisst, mein Key ist kaputt.» Er heisst, dass du zu schnell bist oder ein Limit erreicht wurde. Lies die Fehlermeldung.
- «Mehr Guthaben hebt die Limits auf.» Manche Anbieter erhöhen Limits mit wachsender Ausgabe, aber nicht sofort.
- «Die Limits sind für jedes Modell gleich.» Sie unterscheiden sich nach Modell und Stufe.
Fragen und Antworten
Was heisst HTTP 429?
Zu viele Anfragen. Du hast ein Ratenlimit überschritten. Warte, wie Header oder Meldung es sagen, und versuche es mit wachsenden Pausen erneut.
Wie vermeide ich Ratenlimits?
Sende weniger oder kleinere Anfragen pro Minute, verteile die Arbeit, speichere wiederholte Prompts im Cache, nutze Batches für Aufträge, die warten dürfen, oder bitte den Anbieter um eine höhere Stufe.
Was ist der Unterschied zwischen Ratenlimit und Nutzungslimit?
Ein Ratenlimit begrenzt das API-Tempo pro Minute oder Tag. Ein Nutzungslimit begrenzt, wie viel ein Chat-Abo in einer Periode genutzt werden darf.
Weiterlesen
- Nutzungslimit
Ein Nutzungslimit begrenzt, wie viel du ein KI-Chat-Abo in einer Periode nutzen darfst, etwa pro Sitzung oder Woche, bevor du warten oder mehr zahlen musst.
- Token
Ein Token ist ein kleines Textstück, oft ein Wortteil, das ein KI-Modell liest, schreibt und abrechnet.
- Prompt Caching
Prompt Caching lässt einen KI-Anbieter den bereits verarbeiteten Anfang deines Prompts wiederverwenden, sodass Wiederholtes billiger und schneller ist.
- API-Key
Ein API-Key ist ein geheimer Code, mit dem ein Programm einen KI-Dienst auf deinem Konto aufruft; die Nutzung wird dir verrechnet.
- Batch-API
Eine Batch-API nimmt viele KI-Anfragen auf einmal an, verarbeitet sie später und liefert die Ergebnisse zu einem tieferen Preis als Live-Aufrufe.