Kontextfenster
Kurz gesagtDas Kontextfenster ist die grösste Textmenge, in Token gemessen, die ein Modell in einer Anfrage lesen und schreiben kann.
Einfach erklärt
Das Kontextfenster ist das Arbeitsgedächtnis des Modells für eine Anfrage. Anthropic beschreibt es als den ganzen Text, auf den sich ein Modell beim Schreiben einer Antwort beziehen kann, die Antwort selbst eingeschlossen. Es sind nicht die Trainingsdaten. Alles, was du sendest, zählt: der System-Prompt, jede frühere Nachricht, eingefügte Dateien, Werkzeug-Ergebnisse und die Beschreibung der Werkzeuge. Auch die entstehende Antwort zählt, ebenso Denk-Token.
Die Grösse hängt vom Modell ab. Anthropic nennt für einige Modelle Fenster von bis zu 1 Million Token und hält fest, dass ein grösseres Fenster nicht automatisch besser ist: Mit wachsender Token-Zahl sinken Genauigkeit und Erinnerung, ein Effekt, den Anthropic «Context Rot» nennt. Was du hineinlegst, ist so wichtig wie die Menge, die hineinpasst.
Warum es wichtig ist
- Die Kosten wachsen mit jeder Runde. Eine API merkt sich keinen Chat. Jede Runde sendet den ganzen Verlauf erneut als Eingabe, und du zahlst diese Token nochmals. Prompt Caching kann diese Rechnung senken.
- Die Qualität kann sinken. Eine sehr lange Eingabe kann die Stelle begraben, auf die es ankommt.
- Harte Grenze. Ist schon die Eingabe grösser als das Fenster, lehnt die API von Anthropic die Anfrage mit einem Fehler ab. Chat-Apps werfen dagegen oft die ältesten Nachrichten weg.
- Alternativen. RAG schickt nur die passenden Abschnitte statt ganzer Dokumente.
Beispiel
Du fügst einen langen Bericht in einen Chat ein und stellst 30 Fragen hintereinander. Jede Frage trägt den Bericht, deine früheren Fragen und alle früheren Antworten mit. Bei Frage 30 ist die Anfrage gross und teuer, und das Modell übersieht womöglich eine Einzelheit aus der Mitte des Berichts. Besser: Starte für ein neues Thema einen neuen Chat, füge nur die nötigen Abschnitte ein oder lass einen Suchschritt die Stellen wählen.
Häufige Irrtümer
- «Ein grosses Fenster heisst, das Modell erinnert sich an mich.» Das Fenster gilt für eine Anfrage. Über Chats hinweg erinnert sich ein Modell nur, wenn die App Notizen speichert und erneut mitschickt.
- «Kontextfenster und Trainingsdaten sind dasselbe.» Nein. Die Trainingsdaten haben das Modell früher geprägt, das Fenster enthält, was du jetzt mitgibst.
- «Die Ausgabe zählt nicht.» Doch. Eingabe und Ausgabe teilen sich dasselbe Fenster.
Fragen und Antworten
Was passiert, wenn das Kontextfenster voll ist?
Bei einer API wird eine Anfrage, deren Eingabe das Fenster übersteigt, mit einem Fehler abgelehnt (Anthropic meldet einen 400-Fehler). Chat-Apps werfen oft die ältesten Nachrichten weg oder fassen sie zusammen.
Zählen Ausgabe-Token zum Kontextfenster?
Ja. Die Antwort des Modells, auch die Denk-Token, zählt zum selben Fenster wie deine Eingabe.
Ist ein grösseres Kontextfenster immer besser?
Nein. Mit längerer Eingabe können Genauigkeit und Erinnerung sinken, und die Kosten steigen, weil jeder Token berechnet wird. Sende, was die Aufgabe braucht.
Weiterlesen
- Token
Ein Token ist ein kleines Textstück, oft ein Wortteil, das ein KI-Modell liest, schreibt und abrechnet.
- Prompt Caching
Prompt Caching lässt einen KI-Anbieter den bereits verarbeiteten Anfang deines Prompts wiederverwenden, sodass Wiederholtes billiger und schneller ist.
- RAG (Retrieval-Augmented Generation)
RAG (Retrieval-Augmented Generation) sucht zuerst passende Stellen in deinen Dokumenten und gibt sie dem Modell, damit es daraus antwortet.
- Large Language Model (LLM)
Ein Large Language Model (LLM) ist ein KI-System, das mit riesigen Textmengen lernt, das nächste Token vorherzusagen, und so schreibt, fasst zusammen und antwortet.
- Token-Schätzer: Tokens in deinem Text grob zählen
Ein gratis Werkzeug, das schätzt, wie viele Tokens ein Text enthält. Ein grober Richtwert, keine genaue Zählung.