Token
Kurz gesagtEin Token ist ein kleines Textstück, oft ein Wortteil, das ein KI-Modell liest, schreibt und abrechnet.
Einfach erklärt
Ein KI-Modell liest weder Buchstaben noch ganze Wörter. Ein Programm namens Tokenizer zerlegt deinen Text zuerst in kleine Stücke, die Token. Ein Token kann ein kurzes Wort sein, der Teil eines langen Wortes, eine Zahl oder ein Satzzeichen. Das Modell arbeitet danach nur mit diesen Stücken. Die meisten Tokenizer lernen ihre Stücke aus Daten: Häufige Wörter bleiben ganz, seltene zerfallen in Teile (Subword-Einheiten).
Die Gemini-Doku von Google nennt eine Faustregel: Ein Token entspricht etwa 4 Zeichen, und 100 Token entsprechen etwa 60 bis 80 englischen Wörtern. Anthropic weist darauf hin, dass die Zeichen pro Token vom Modell und von der Sprache abhängen. Neuere Claude-Modelle erzeugen für denselben Text rund 30 Prozent mehr Token als frühere. Nimm jedes Verhältnis als Schätzung und zähle mit dem Werkzeug deines Anbieters.
Warum es wichtig ist
- Kosten: API-Anbieter rechnen pro Token ab, Eingabe und Ausgabe zu getrennten Preisen. Siehe Preis pro Million Token und die Tabelle in den KI-API-Preisen.
- Grenzen: Das Kontextfenster und viele Ratenlimits werden in Token gezählt, nicht in Wörtern.
- Sprache: Andere Sprachen, Code und Zahlen brauchen oft mehr Token als schlichtes Englisch. Derselbe Inhalt kann auf Deutsch mehr kosten als auf Englisch.
- Tempo: Ein Modell schreibt Token für Token. Eine lange Antwort dauert darum länger als eine kurze.
Beispiel
Eine englische E-Mail mit 1000 Wörtern hat nach Googles Regel für Gemini-Modelle etwa 1250 bis 1700 Token. Du bittest um eine Zusammenfassung von 150 Wörtern, das sind grob 190 bis 250 Ausgabe-Token. Du zahlst einmal für die Eingabe-Token und einmal für die Ausgabe-Token, je zum eigenen Preis. Für eine schnelle Zählung vor dem Senden nimmst du den Token-Schätzer.
Häufige Irrtümer
- «Ein Token ist ein Wort.» Nein. Kurze, häufige Wörter sind oft ein Token, lange oder seltene Wörter zerfallen in mehrere.
- «Alle Modelle zählen gleich.» Jede Modellfamilie hat einen eigenen Tokenizer. Derselbe Text ergibt bei verschiedenen Anbietern andere Zahlen.
- «Leerzeichen und Satzzeichen sind gratis.» Sie gehören zum Text und oft zu einem Token.
Fragen und Antworten
Wie viele Token sind 1000 Wörter?
Bei englischem Text etwa 1250 bis 1700 Token, nach Googles Regel, dass 100 Token 60 bis 80 Wörtern entsprechen. Code und andere Sprachen brauchen mehr. Für eine genaue Zahl nimmst du den Zähler deines Anbieters.
Ist ein Token dasselbe wie ein Wort?
Nein. Ein Token ist oft ein Wortteil. Kurze, häufige Wörter sind meist ein Token, lange oder seltene Wörter zerfallen in mehrere.
Wie zähle ich Token?
Nimm den Token-Zähler des Anbieters oder den Token-Schätzer auf dieser Seite. Anbieter melden auch in jeder API-Antwort die genauen Zahlen.
Weiterlesen
- Kontextfenster
Das Kontextfenster ist die grösste Textmenge, in Token gemessen, die ein Modell in einer Anfrage lesen und schreiben kann.
- Preis pro Million Token
Der Preis pro Million Token ist die übliche Preisangabe von KI-APIs: was du für je eine Million gesendete oder erzeugte Token zahlst.
- Large Language Model (LLM)
Ein Large Language Model (LLM) ist ein KI-System, das mit riesigen Textmengen lernt, das nächste Token vorherzusagen, und so schreibt, fasst zusammen und antwortet.
- Token-Schätzer: Tokens in deinem Text grob zählen
Ein gratis Werkzeug, das schätzt, wie viele Tokens ein Text enthält. Ein grober Richtwert, keine genaue Zählung.