Prompt Caching
Kurz gesagtPrompt Caching lässt einen KI-Anbieter den bereits verarbeiteten Anfang deines Prompts wiederverwenden, sodass Wiederholtes billiger und schneller ist.
Einfach erklärt
Viele Anfragen beginnen mit demselben langen Text: einem System-Prompt, Werkzeugbeschreibungen, einem Handbuch oder den früheren Runden eines Chats. Ihn jedes Mal neu zu verarbeiten, verschwendet Arbeit. Beim Prompt Caching hält der Anbieter die verarbeitete Form dieses festen Anfangs kurze Zeit bereit. Beginnt deine nächste Anfrage mit genau demselben Text, liest sie aus dem Cache und verarbeitet nur den neuen Teil voll.
Die Einzelheiten unterscheiden sich je Anbieter:
- Anthropic: Der Cache hält standardmässig 5 Minuten und wird bei jeder Nutzung erneuert. Eine Option mit 1 Stunde gibt es gegen Aufpreis. Cache-Lesen kostet weit weniger als normale Eingabe, bei den meisten Modellen etwa ein Zehntel des Grundpreises. Es gelten Mindestlängen, die je Modell verschieden sind.
- OpenAI: Die Wiederverwendung setzt voraus, dass das ganze aufbereitete Präfix übereinstimmt. Gecachte Eingabe ist vergünstigt, Mindestlängen und Laufzeiten hängen vom Modell ab.
- Google: Gemini bietet implizites Caching, bei neueren Modellen standardmässig an, und gibt die Ersparnis automatisch weiter, wenn eine Anfrage den Cache trifft.
Warum es wichtig ist
- Kosten: Der wiederholte Teil wird zu einem tieferen Satz berechnet. Die aktuellen Zahlen findest du in den KI-API-Preisen.
- Tempo: Weniger Verarbeitung heisst einen schnelleren Start der Antwort.
- Ratenlimits: Bei den meisten Claude-Modellen zählen gecachte Lesezugriffe nicht zum Eingabe-Ratenlimit, wie die Limit-Seite von Anthropic erklärt.
- Gestaltung: Setze Festes nach vorn und Wechselndes ans Ende. Eine Änderung weit vorn bricht den Treffer für alles danach.
- Kontext: Gecachter Text füllt weiter das Kontextfenster. Caching ändert den Preis, nicht den Platz.
Beispiel
Ein Support-Bot sendet bei jeder Frage ein Produkthandbuch von 8000 Token plus den System-Prompt. Ohne Caching zahlt jede Frage den vollen Preis für alles. Mit Caching lesen Fragen, die innerhalb der Cache-Laufzeit eintreffen, das Handbuch aus dem Cache und zahlen den vollen Preis nur für die kurze Kundenfrage und die Antwort.
Häufige Irrtümer
- «Der Anbieter speichert meine Antworten.» Er speichert die Verarbeitung des Prompt-Anfangs. Die Antwort entsteht jedes Mal neu.
- «Es gilt überall automatisch.» Manche Anbieter cachen von selbst, andere brauchen Markierungen in deiner Anfrage. Lies die Doku.
- «Jeder ähnliche Text trifft den Cache.» Der Anfang muss exakt übereinstimmen. Ein geändertes Zeichen weit vorn beendet den Treffer.
Fragen und Antworten
Was ist Prompt Caching?
Eine Funktion, bei der der Anbieter den verarbeiteten Anfang eines Prompts kurze Zeit hält und wiederverwendet, sodass wiederholter Text weniger kostet und schneller antwortet.
Wie lange hält ein Prompt-Cache?
Das hängt von Anbieter und Einstellung ab. Bei Anthropic sind es standardmässig 5 Minuten, bei jeder Nutzung erneuert, mit einer Option von 1 Stunde gegen Aufpreis.
Wie erreiche ich Cache-Treffer?
Halte den Anfang deines Prompts zwischen den Anfragen identisch: System-Prompt, Werkzeuge und Dokumente zuerst, die wechselnde Frage zuletzt.
Weiterlesen
- Kontextfenster
Das Kontextfenster ist die grösste Textmenge, in Token gemessen, die ein Modell in einer Anfrage lesen und schreiben kann.
- Token
Ein Token ist ein kleines Textstück, oft ein Wortteil, das ein KI-Modell liest, schreibt und abrechnet.
- Ratenlimit
Ein Ratenlimit begrenzt, wie viele Anfragen oder Token du in einer Zeitspanne an eine KI-API senden darfst; darüber kommt ein Fehler, meist HTTP 429.
- System-Prompt
Ein System-Prompt ist eine feste Anweisung, die eine App oder ein Entwickler setzt und die das Verhalten eines Modells im ganzen Gespräch prägt.
- Preis pro Million Token
Der Preis pro Million Token ist die übliche Preisangabe von KI-APIs: was du für je eine Million gesendete oder erzeugte Token zahlst.