Parameter
Kurz gesagtParameter sind die Zahlen, auch Gewichte genannt, die ein Modell im Training anpasst und dann zum Antworten nutzt; ihre Zahl ist ein grobes Mass für die Grösse.
Einfach erklärt
Ein Sprachmodell ist eine grosse Menge von Zahlen, in Schichten angeordnet. Das Training stellt diese Zahlen so ein, dass das Modell Text gut vorhersagt. Jede einstellbare Zahl ist ein Parameter, oft Gewicht genannt. Liest du «7B» oder «70B» im Modellnamen, sind rund 7 oder 70 Milliarden Parameter gemeint. Zum Vergleich: Die Arbeit von 2020, die GPT-3 vorstellte, beschreibt ein Modell mit 175 Milliarden Parametern.
Nach dem Training bleiben die Parameter fest. Inferenz ist die Nutzung dieser festen Zahlen, um deinen Prompt zu beantworten. Fine-Tuning ändert einige von ihnen.
Verwechsle das nicht mit den «Parametern» eines API-Aufrufs. Einstellungen wie die Temperatur oder die maximale Antwortlänge heissen ebenfalls Parameter. Das sind Entscheide, die du pro Anfrage triffst. Die Parameter eines Modells sind, was es gelernt hat.
Warum es wichtig ist
- Speicher: Jeder Parameter belegt Platz. Als grobe Rechnung brauchen 7 Milliarden Parameter bei 16 Bit etwa 14 GB. Das bestimmt, was du als lokales Modell betreiben kannst.
- Kosten und Tempo: Grössere Modelle brauchen pro Antwort mehr Rechenleistung, sind also meist langsamer und teurer pro Token.
- Nicht die ganze Qualität: Die Forschung von Kaplan und Kollegen fand, dass die Leistung mit Modellgrösse, Datenmenge und Rechenleistung steigt. Die Arbeit von Hoffmann und Kollegen («Chinchilla») fand, dass bei festem Rechenbudget Grösse und Trainingsdaten gemeinsam wachsen sollten und dass mehrere grosse Modelle mit zu wenig Daten trainiert worden waren. Ein kleineres, gut trainiertes Modell kann ein grösseres einholen.
- Transparenz: Anbieter geschlossener Modelle veröffentlichen die Parameterzahl oft nicht, du kannst also nicht allein nach dieser Zahl vergleichen. Bei Open-Weight-Modellen ist sie bekannt.
Beispiel
Du vergleichst auf deinem Laptop zwei Modelle. Eines hat 7 Milliarden Parameter, das andere 70 Milliarden. Das kleine antwortet schnell und passt in den Speicher. Das grosse braucht etwa zehnmal so viel Speicher und läuft langsam, löst aber schwerere Fragen besser. Für kurze Notizen genügt das kleine Modell. Für eine harte Analyse testest du das grössere.
Häufige Irrtümer
- «Mehr Parameter heisst immer ein besseres Modell.» Grösse hilft, doch Trainingsdaten, Methode und Feinabstimmung zählen ebenso.
- «Parameter sind gespeicherte Fakten.» Es sind gelernte Muster. Das Modell führt keine Faktentabelle, was ein Grund ist, warum es halluzinieren kann.
- «Parameter eines API-Aufrufs und eines Modells sind dasselbe.» Sind sie nicht. Das eine ist eine Einstellung, das andere ist Gelerntes.
Fragen und Antworten
Was bedeutet 7B oder 70B im Modellnamen?
Etwa 7 oder 70 Milliarden Parameter, die gelernten Zahlen im Inneren des Modells.
Sind mehr Parameter immer besser?
Nein. Auch Trainingsdaten und Methode zählen. Forschung zum rechenoptimalen Training zeigt, dass ein kleineres Modell mit genug Daten ein grösseres einholen kann.
Wie viel Speicher braucht ein Modell?
Grob die Parameterzahl mal die Bytes pro Parameter. Bei 16 Bit pro Gewicht brauchen 7 Milliarden Parameter etwa 14 GB. Versionen mit weniger Bits brauchen weniger.
Weiterlesen
- Large Language Model (LLM)
Ein Large Language Model (LLM) ist ein KI-System, das mit riesigen Textmengen lernt, das nächste Token vorherzusagen, und so schreibt, fasst zusammen und antwortet.
- Open-Weight-Modell
Ein Open-Weight-Modell ist ein KI-Modell, dessen trainierte Gewichte zum Download bereitstehen, sodass du es selbst betreiben und oft anpassen kannst.
- Lokales Modell
Ein lokales Modell ist ein KI-Modell, das auf deinem eigenen Rechner oder Server läuft statt in der Cloud eines Anbieters, sodass Prompts dein Gerät nicht verlassen müssen.
- Fine-Tuning
Fine-Tuning trainiert ein bestehendes Modell mit deinen eigenen Beispielen weiter, damit es Stil, Format oder Aufgabe zuverlässiger trifft.
- Inferenz
Inferenz heisst, ein trainiertes KI-Modell laufen zu lassen, damit es aus deiner Eingabe eine Ausgabe erzeugt, etwa die Antwort auf einen Prompt.