Batch-API
Kurz gesagtEine Batch-API nimmt viele KI-Anfragen auf einmal an, verarbeitet sie später und liefert die Ergebnisse zu einem tieferen Preis als Live-Aufrufe.
Einfach erklärt
Ein normaler API-Aufruf ist live: Du sendest eine Anfrage und wartest auf die Antwort. Eine Batch-API funktioniert wie eine Bestellung per Post. Du lädst viele Anfragen auf einmal hoch, der Anbieter arbeitet sie ab, wenn er freie Kapazität hat, und du holst die Ergebnisse später ab. Dafür zahlst du weniger.
Alle drei grossen Anbieter bieten das an. Die Message Batches API von Anthropic nennt eine Kostensenkung von 50 Prozent und sagt, die meisten Batches seien in unter einer Stunde fertig. Die Batch-API von OpenAI gibt 50 Prozent Rabatt auf synchrone Aufrufe bei einem Zeitfenster von 24 Stunden. Die Gemini-Batch-API von Google berechnet 50 Prozent der normalen interaktiven Kosten, mit einer Ziel-Durchlaufzeit von 24 Stunden. Bedingungen und Modelllisten ändern sich, prüfe also die aktuellen Dokus und die Tabelle der KI-API-Preise.
Warum es wichtig ist
- Kosten: Für Arbeit, die warten darf, ist der halbe Preis für dieselben Token die grösste Ersparnis, die du ohne Modellwechsel bekommst. Probiere die Zahlen im Kostenrechner.
- Grenzen: Batches haben meist eigene Limits. OpenAI hält fest, dass Batch-Limits von den Ratenlimits pro Modell getrennt sind, ein grosser Batch frisst also deine Live-Kapazität nicht.
- Abwägung: Keine sofortigen Antworten. Chat, Live-Assistenten und alles, worauf eine Person wartet, brauchen die normale API.
- Mit Caching kombinieren: Teilen alle Anfragen einen langen Anfang, kann Prompt Caching die Kosten weiter senken. Prüfe die Regeln jedes Anbieters für die Kombination.
Beispiel
Ein Shop hat 40 000 Produktbeschreibungen, die in Kategorien einzuordnen und in einheitlichem Ton umzuschreiben sind. Niemand braucht die Ergebnisse in dieser Minute. Das Team schreibt pro Produkt eine Anfrage in eine Datei, reicht sie als Batch ein und schaut später nach. Es zahlt den tieferen Batch-Preis, und der Live-Assistent des Shops behält sein volles Ratenlimit.
Häufige Irrtümer
- «Batch heisst ein schlechteres Modell.» Es ist dasselbe Modell. Nur Zeitpunkt und Preis ändern sich.
- «Die Ergebnisse kommen in Sekunden.» Oft dauert es Minuten bis Stunden, und der Anbieter sichert nur eine Obergrenze zu, etwa 24 Stunden.
- «Eine fehlgeschlagene Anfrage ruiniert den Batch.» Jede Anfrage wird für sich bearbeitet, und du prüfst, welche scheiterten, und sendest nur diese neu.
Fragen und Antworten
Wie hoch ist der Rabatt der Batch-API?
Anthropic, OpenAI und Google dokumentieren je 50 Prozent unter dem Normalpreis bei Batch-Nutzung, mit späterer Lieferung der Ergebnisse. Prüfe die aktuellen Bedingungen, bevor du darauf planst.
Wie lange dauert ein Batch?
Die Anbieter nennen eine Obergrenze, meist 24 Stunden. Anthropic sagt, die meisten Batches seien in unter einer Stunde fertig.
Wann nutze ich keine Batch-API?
Wenn eine Person auf die Antwort wartet, etwa im Chat oder im Live-Support. Dafür nimmst du die normale API.
Weiterlesen
- Preis pro Million Token
Der Preis pro Million Token ist die übliche Preisangabe von KI-APIs: was du für je eine Million gesendete oder erzeugte Token zahlst.
- Ratenlimit
Ein Ratenlimit begrenzt, wie viele Anfragen oder Token du in einer Zeitspanne an eine KI-API senden darfst; darüber kommt ein Fehler, meist HTTP 429.
- Prompt Caching
Prompt Caching lässt einen KI-Anbieter den bereits verarbeiteten Anfang deines Prompts wiederverwenden, sodass Wiederholtes billiger und schneller ist.
- KI-API-Preise im Vergleich: Kosten pro 1 Mio. Tokens
Tabelle der KI-API-Listenpreise pro 1 Million Tokens, mit Quelle und Prüfdatum je Zeile.
- KI-Kostenrechner: API-Kosten pro Aufruf und Monat
Ein gratis Rechner, der Token-Zahlen und Listenpreise in Kosten pro Aufruf und Monat verwandelt.