Inferenz
Kurz gesagtInferenz heisst, ein trainiertes KI-Modell laufen zu lassen, damit es aus deiner Eingabe eine Ausgabe erzeugt, etwa die Antwort auf einen Prompt.
Einfach erklärt
Ein KI-Modell hat zwei Lebensphasen. Im Training füttert der Anbieter es mit riesigen Datenmengen und stellt seine Parameter ein. Das geschieht einmal, braucht viel Rechenleistung und endet mit festen Gewichten. In der Inferenz nutzt das Modell diese festen Gewichte, um eine Anfrage zu beantworten. Jedes Mal, wenn du einen Prompt sendest, löst du Inferenz aus. Aus deiner Anfrage lernt das Modell in diesem Moment nichts.
Inferenz läuft Token für Token: Das Modell sagt ein Token voraus, hängt es an den Text und sagt das nächste voraus. Darum dauert eine lange Antwort länger als eine kurze. Einstellungen wie die Temperatur prägen, wie jedes Token gewählt wird.
Warum es wichtig ist
- Du zahlst für Inferenz. API-Preise, genannt pro Million Token, decken die Rechenleistung, die für dich das Modell betreibt.
- Tempo hat zwei Seiten. Das Glossar von Anthropic nennt zwei Masse: Latenz, die Verzögerung zwischen Prompt und Ausgabe, und Time to First Token (TTFT), die Wartezeit bis zum ersten Stück der Antwort. Modellgrösse, Hardware, Netz und Prompt-Länge beeinflussen beide.
- Der Ort zählt. In der Cloud führen die Server des Anbieters die Inferenz aus, und dein Prompt reist dorthin. Bei einem lokalen Modell arbeitet dein eigener Rechner, und deine Hardware setzt die Grenzen.
- Nicht ganz wiederholbar. Anthropic hält fest, dass die Ergebnisse auch bei Temperatur 0 nicht ganz deterministisch sind.
Beispiel
Du fügst einen Text mit 500 Wörtern ein und bittest um eine Zusammenfassung. Die Server des Anbieters lesen deinen Text und erzeugen die Zusammenfassung Token für Token. Du zahlst für die gesendeten und die geschriebenen Token. Das Modell selbst ist danach unverändert. Die nächste Anfrage beginnt mit denselben festen Gewichten.
Häufige Irrtümer
- «Das Modell lernt aus meinem Chat, während ich tippe.» Bei der Inferenz bleiben die Gewichte fest. Ob ein Anbieter deine Daten später fürs Training nutzt, hängt von seinen Bedingungen ab, die du lesen solltest.
- «Inferenz ist billig, nur das Training kostet.» Bei einem beliebten Dienst sind Millionen Anfragen ein grosser, laufender Kostenpunkt.
- «Inferenz braucht die Cloud.» Kleinere Modelle laufen auf einem Laptop.
Fragen und Antworten
Was ist der Unterschied zwischen Training und Inferenz?
Das Training baut das Modell einmal aus grossen Datensätzen auf. Die Inferenz nutzt das fertige Modell, um jede Anfrage zu beantworten.
Warum ist KI-Inferenz langsam oder teuer?
Das Modell erzeugt ein Token nach dem anderen, und jeder Schritt braucht viel Rechenleistung. Längere Prompts und längere Antworten kosten Zeit und Geld.
Kann ich Inferenz auf meinem eigenen Rechner laufen lassen?
Ja, bei Modellen, deren Gewichte du herunterladen kannst und die zu deiner Hardware passen. Siehe lokale Modelle.
Weiterlesen
- Token
Ein Token ist ein kleines Textstück, oft ein Wortteil, das ein KI-Modell liest, schreibt und abrechnet.
- Preis pro Million Token
Der Preis pro Million Token ist die übliche Preisangabe von KI-APIs: was du für je eine Million gesendete oder erzeugte Token zahlst.
- Lokales Modell
Ein lokales Modell ist ein KI-Modell, das auf deinem eigenen Rechner oder Server läuft statt in der Cloud eines Anbieters, sodass Prompts dein Gerät nicht verlassen müssen.
- Parameter
Parameter sind die Zahlen, auch Gewichte genannt, die ein Modell im Training anpasst und dann zum Antworten nutzt; ihre Zahl ist ein grobes Mass für die Grösse.
- Temperatur
Die Temperatur ist eine Einstellung dafür, wie zufällig ein Modell Wörter wählt: tief gibt stabile Antworten, hoch gibt vielfältigere.