Large Language Model (LLM)
Kurz gesagtEin Large Language Model (LLM) ist ein KI-System, das mit riesigen Textmengen lernt, das nächste Token vorherzusagen, und so schreibt, fasst zusammen und antwortet.
Einfach erklärt
Ein Large Language Model, kurz LLM, ist ein Programm, das Muster in sehr grossen Textmengen gelernt hat. Seine Kernaufgabe ist einfach: Aus dem bisherigen Text sagt es das nächste Token voraus. Es wiederholt diesen Schritt immer wieder, und die Kette der vorhergesagten Token wird zu einem Satz, einer E-Mail oder einem Stück Code.
Das Glossar von Anthropic nennt die erste Phase Pretraining: Das Modell lernt, aus einer grossen, unbeschrifteten Textsammlung das nächste Wort vorherzusagen. Ein solches Rohmodell folgt Anweisungen schlecht. Eine zweite Phase mit Fine-Tuning und Training mit menschlichem Feedback macht es zum hilfreichen Assistenten. Die meisten heutigen LLMs nutzen die Transformer-Architektur aus der Arbeit «Attention Is All You Need» von 2017. Die Grösse eines Modells wird oft als Zahl der Parameter angegeben.
Ein Chatbot ist nicht dasselbe wie ein LLM. Ein Produkt wie eine Chat-App umhüllt ein LLM mit einem System-Prompt, einem Gedächtnis, Werkzeugen und einer Oberfläche.
Warum es wichtig ist
- Stärken: entwerfen, umformulieren, zusammenfassen, übersetzen, erklären und Code schreiben.
- Grenzen: Ein LLM erzeugt wahrscheinlichen Text. Es kann Falsches mit Überzeugung behaupten (Halluzination), es weiss nichts nach seinem Wissensstichtag, ausser es erhält Werkzeuge, und derselbe Prompt kann verschiedene Antworten geben.
- Wahl: Modelle unterscheiden sich in Qualität, Tempo, Kontextfenster und Preis. Wähle ein Modell für die Aufgabe, nicht für den Namen.
- Daten: Was du tippst, kann dein Gerät verlassen. Lies, was nie in einen Chatbot gehört.
Beispiel
Du fügst drei Absätze Sitzungsnotizen ein und schreibst: «Fasse in drei Stichpunkten für die Chefin zusammen.» Das Modell zerlegt deinen Text in Token, sagt das erste Token seiner Antwort voraus, hängt es an den Text und sagt das nächste voraus. Nach einigen Dutzend Schritten stehen drei Stichpunkte da. Eine Datenbank wurde nicht abgefragt; die Formulierung stammt aus gelernten Mustern.
Häufige Irrtümer
- «Ein LLM durchsucht das Web.» Nicht von selbst. Suche ist ein Werkzeug, das eine App ergänzen kann.
- «Es speichert eine Kopie seiner Trainingstexte.» Es speichert gelernte Gewichte, keine Dokumentensammlung, auch wenn es oft gesehene Texte manchmal wiedergibt.
- «LLM und ChatGPT sind dasselbe.» ChatGPT ist ein Produkt auf Basis von LLMs. Es gibt viele Produkte und viele Modellfamilien.
Fragen und Antworten
Wofür steht LLM?
Für Large Language Model, auf Deutsch grosses Sprachmodell. Es ist ein KI-Modell, das mit sehr grossen Textmengen lernt, das nächste Token vorherzusagen.
Was ist der Unterschied zwischen LLM und Chatbot?
Das LLM ist das Modell. Ein Chatbot ist eine App darum herum, mit System-Prompt, Werkzeugen, Gedächtnis und Oberfläche.
Versteht ein LLM, was es schreibt?
Es sagt Text aus gelernten Mustern voraus. Ob das Verstehen ist, wird diskutiert. Prüfe wichtige Fakten darum selbst.
Weiterlesen
- Token
Ein Token ist ein kleines Textstück, oft ein Wortteil, das ein KI-Modell liest, schreibt und abrechnet.
- Parameter
Parameter sind die Zahlen, auch Gewichte genannt, die ein Modell im Training anpasst und dann zum Antworten nutzt; ihre Zahl ist ein grobes Mass für die Grösse.
- Halluzination
Eine Halluzination ist eine flüssige, sicher klingende KI-Antwort, die falsch oder erfunden ist oder nicht zu den gegebenen Quellen passt.
- Fine-Tuning
Fine-Tuning trainiert ein bestehendes Modell mit deinen eigenen Beispielen weiter, damit es Stil, Format oder Aufgabe zuverlässiger trifft.
- KI-Modell wählen
Passe das Modell an die Aufgabe an: klein für Menge, mittel für den Alltag, Spitze oder Reasoning für Schweres und lokal für Privates, mit Entscheidungsbaum und Test.