Lokales Modell
Kurz gesagtEin lokales Modell ist ein KI-Modell, das auf deinem eigenen Rechner oder Server läuft statt in der Cloud eines Anbieters, sodass Prompts dein Gerät nicht verlassen müssen.
Einfach erklärt
Bei einem Cloud-Modell reist dein Prompt übers Internet zu den Servern eines Anbieters, die das Modell betreiben. Bei einem lokalen Modell lädst du die Modelldatei herunter und lässt sie auf deinem eigenen Rechner laufen. Projekte wie Ollama und llama.cpp, beide Open Source auf GitHub, machen das praxistauglich: Sie laden ein Modell und lassen dich damit chatten oder es aus eigenen Programmen aufrufen. Lokale Modelle sind meist Open-Weight-Modelle.
Die wichtigste Grenze ist der Speicher. Die Datei enthält Milliarden Parameter, und das Modell muss in den Arbeitsspeicher oder Grafikspeicher deines Geräts passen. Quantisierung hilft: Sie speichert jedes Gewicht mit weniger Bits, die Datei wird kleiner. Als grobe Rechnung braucht ein Modell mit 7 Milliarden Parametern bei 16 Bit pro Gewicht etwa 14 GB und bei 4 Bit etwa 3,5 GB, dazu Platz für den Arbeitsspeicher eines langen Chats. Mit weniger Bits sinkt die Qualität etwas.
Warum es wichtig ist
- Datenschutz: Prompts und Dateien bleiben auf deinem Gerät, ausser die App sendet sie anderswohin. Prüfe trotzdem Einstellungen und Plug-ins. Lies, was nie in einen Cloud-Chatbot gehört.
- Offline und Kontrolle: Es läuft ohne Verbindung, und kein Anbieter ändert oder streicht das Modell unter dir.
- Kosten: Keine Gebühr pro Token. Du zahlst mit Hardware, Strom und Einrichtungszeit.
- Tempo: Die Geschwindigkeit der Inferenz hängt von deiner Hardware ab. Ein Laptop ist langsamer als ein Server im Rechenzentrum, und lange Eingaben bremsen mehr.
- Qualität: Kleine lokale Modelle meistern Zusammenfassungen, Entwürfe, Sortieren und einfache Fragen gut, können aber bei schwerem Denken oder sehr langen Dokumenten zurückfallen.
- Pflege: Du wählst, lädst und aktualisierst die Modelle und beurteilst, woher sie stammen. Nimm Gewichte nur aus Quellen, denen du traust.
Beispiel
Du hast einen Laptop mit 16 GB Speicher. Du installierst Ollama, lädst ein kleines quantisiertes Modell und lässt es vertrauliche Sitzungsnotizen zusammenfassen. Nichts geht an einen Anbieter. Für eine lange juristische Analyse wechselst du zu einem grösseren Cloud-Modell, nachdem du Namen und heikle Angaben entfernt hast.
Häufige Irrtümer
- «Lokal ist immer privat.» Das Modell läuft lokal, aber eine App darum kann trotzdem Daten oder Telemetrie senden. Prüfe das.
- «Ein lokales Modell erreicht die besten Cloud-Modelle.» Bei gleicher Grösse oft nicht. Teste an deiner Aufgabe.
- «Lokal ist gratis.» Die Kosten verlagern sich auf Hardware und Zeit.
Fragen und Antworten
Was ist ein lokales KI-Modell?
Ein Modell, das auf deinem eigenen Rechner oder Server läuft statt in der Cloud eines Anbieters, sodass deine Prompts dein Gerät nicht verlassen müssen.
Welche Hardware brauche ich für ein lokales Modell?
Genug Speicher für das Modell. Kleine quantisierte Modelle laufen auf einem gewöhnlichen Laptop, grössere brauchen viel mehr Speicher oder eine starke Grafikkarte.
Ist ein lokales Modell privater als Cloud-Dienste im Stil von ChatGPT?
Es kann es sein, weil die Daten auf deinem Gerät bleiben. Es hängt am ganzen Aufbau, prüfe also, was die App und ihre Plug-ins nach aussen senden.
Weiterlesen
- Open-Weight-Modell
Ein Open-Weight-Modell ist ein KI-Modell, dessen trainierte Gewichte zum Download bereitstehen, sodass du es selbst betreiben und oft anpassen kannst.
- Inferenz
Inferenz heisst, ein trainiertes KI-Modell laufen zu lassen, damit es aus deiner Eingabe eine Ausgabe erzeugt, etwa die Antwort auf einen Prompt.
- Parameter
Parameter sind die Zahlen, auch Gewichte genannt, die ein Modell im Training anpasst und dann zum Antworten nutzt; ihre Zahl ist ein grobes Mass für die Grösse.
- Large Language Model (LLM)
Ein Large Language Model (LLM) ist ein KI-System, das mit riesigen Textmengen lernt, das nächste Token vorherzusagen, und so schreibt, fasst zusammen und antwortet.
- Was nicht in KI-Chatbots gehört
Passwörter, Kundendaten, Ausweise und Geheimnisse gehören nicht in einen Chatbot: Ampel-Checkliste, Datenregeln der Anbieter, CH- und EU-Grundlagen, sichere Wege.