Multimodal
Kurz gesagtEin multimodales KI-Modell kann mehr als eine Art von Daten aufnehmen und manchmal erzeugen, etwa Text, Bilder, Dokumente, Audio oder Video.
Einfach erklärt
Ein «Modus» ist eine Art von Daten. Ein reines Textmodell liest und schreibt Text. Ein multimodales Modell verarbeitet auch andere Arten. Anthropic, OpenAI und Google dokumentieren je die Bildeingabe für ihre Modelle, und die Gemini-Doku von Google nennt zusätzlich Video und Audio. In der Praxis hängst du ein Foto, einen Screenshot, ein Diagramm oder eine PDF-Seite an und stellst eine Frage dazu.
Eingabe und Ausgabe sind getrennt. Viele Modelle nehmen Bilder an, antworten aber nur mit Text. Manche erzeugen auch Bilder oder Sprache. Prüfe, was dein Modell in beide Richtungen kann.
Intern zerlegt das Modell ein Bild in Stücke, die wie Token wirken. Es gelten also die üblichen Regeln: Sie belegen Platz im Kontextfenster und können die Rechnung erhöhen. Wie ein Bild gezählt wird, ist je Anbieter verschieden. Für genaue Zahlen nimmst du das Zählwerkzeug des Anbieters.
Warum es wichtig ist
- Neue Aufgaben: eine Quittung lesen, ein Diagramm beschreiben, eine Tabelle aus einer gescannten Seite ziehen, einen Fehler in einem Screenshot finden oder zwei Fotos vergleichen.
- Kosten und Grenzen: Bilder und lange Dokumente brauchen viele Token. Eine Anfrage mit vielen Seiten kann an Grössengrenzen stossen, bevor sie die Token-Grenze erreicht. Siehe Preis pro Million Token.
- Genauigkeit: Modelle können kleine Schrift, unscharfe Bilder, dichte Tabellen oder feine räumliche Details falsch lesen. Prüfe Zahlen, die sie aus Bildern lesen.
- Datenschutz: Ein Foto oder Dokument kann viel mehr persönliche Daten enthalten, als du merkst: Gesichter, Adressen, Metadaten oder Namen anderer Personen. Lies, was nie in einen Chatbot gehört, bevor du etwas hochlädst.
- Sicherheit: Anweisungen können sich in einem Bild oder einer Datei verstecken, sodass ein Modell Text befolgt, den es nur lesen sollte. OWASP führt das als Risiko der Prompt Injection, das weitere Forschung braucht.
Beispiel
Du fotografierst eine gedruckte Rechnung und bittest: «Liste die Positionen und die Summe als Tabelle auf.» Das Modell liest das Bild und liefert eine Tabelle. Du vergleichst die Summe mit der gedruckten, denn eine verschmierte Ziffer kann falsch gelesen sein. Den Teil mit der Kundenadresse schneidest du vor dem Hochladen weg.
Häufige Irrtümer
- «Multimodal heisst, es sieht wie ein Mensch.» Es verarbeitet Bilddaten statistisch und kann übersehen, was einer Person offensichtlich ist.
- «Ein Bild kostet nichts extra.» Es kostet Token, oft viele.
- «Alle Chatbots können alle Dateitypen.» Die Unterstützung ist je nach Modell und App verschieden.
Fragen und Antworten
Was heisst multimodal bei KI?
Das Modell arbeitet mit mehr als einer Art von Daten, etwa Text plus Bildern, Dokumenten, Audio oder Video.
Zählen Bilder als Token?
Der Sache nach ja. Anbieter wandeln Bilder in token-ähnliche Einheiten um, die Platz im Kontextfenster belegen und berechnet werden. Genaue Zahlen liefert der Zähler des Anbieters.
Ist es sicher, Fotos und Scans hochzuladen?
Nur wenn es für dich in Ordnung ist, dass die Daten dein Gerät verlassen. Bilder können persönliche Daten enthalten, die du nicht bemerkst. Schneide Sensibles vorher weg oder entferne es.
Weiterlesen
- Large Language Model (LLM)
Ein Large Language Model (LLM) ist ein KI-System, das mit riesigen Textmengen lernt, das nächste Token vorherzusagen, und so schreibt, fasst zusammen und antwortet.
- Token
Ein Token ist ein kleines Textstück, oft ein Wortteil, das ein KI-Modell liest, schreibt und abrechnet.
- Kontextfenster
Das Kontextfenster ist die grösste Textmenge, in Token gemessen, die ein Modell in einer Anfrage lesen und schreiben kann.
- Prompt Injection
Prompt Injection ist ein Angriff, bei dem Text, den ein Modell liest, etwa eine Webseite oder Datei, Anweisungen enthält, die es gegen seinen Nutzer handeln lassen.
- Was nicht in KI-Chatbots gehört
Passwörter, Kundendaten, Ausweise und Geheimnisse gehören nicht in einen Chatbot: Ampel-Checkliste, Datenregeln der Anbieter, CH- und EU-Grundlagen, sichere Wege.