Embedding
Kurz gesagtEin Embedding ist eine Zahlenliste, die die Bedeutung eines Textes oder Bildes darstellt, sodass ähnliche Dinge nah beieinander liegen.
Einfach erklärt
Ein Computer kann Bedeutung nicht direkt vergleichen, aber Zahlen schon. Ein Embedding-Modell liest ein Stück Text und gibt eine lange Zahlenliste zurück, einen Vektor. Texte mit ähnlicher Bedeutung erhalten Vektoren, die nah beieinander liegen, Texte mit anderer Bedeutung liegen weit auseinander. Frühe Arbeiten zu Wortvektoren, etwa die word2vec-Arbeit von 2013, zeigten, dass solche Vektoren Wortähnlichkeit erfassen. Heute tun Embedding-Modelle von OpenAI, Google und anderen dasselbe für Sätze, Seiten, Bilder und mehr.
Um zwei Dinge zu vergleichen, misst du den Abstand oder den Winkel zwischen ihren Vektoren. Ein kleiner Abstand heisst ähnliche Bedeutung.
Warum es wichtig ist
- Suche nach Bedeutung: Die Anfrage «Ich habe mein Login vergessen» findet eine Seite mit dem Titel «Passwort zurücksetzen», obwohl beide kein Wort teilen.
- Baustein für RAG: Embeddings finden die Abschnitte, die ans Modell gehen.
- Weitere Einsätze: ähnliche Texte gruppieren, Duplikate finden, verwandte Dinge empfehlen.
- Grenzen: Embeddings können genaue Treffer wie Namen, Codes oder Zahlen verfehlen. Viele Systeme mischen sie mit Stichwortsuche.
- Praxisregeln: Nimm für Index und Anfragen dasselbe Embedding-Modell, denn Vektoren verschiedener Modelle sind nicht vergleichbar. Wechselst du das Modell, baue den Index neu. Embedding-Modelle sind von Chat-Modellen getrennt und haben eigene Preise; siehe KI-API-Preise.
- Datenschutz: Die Texte, die du einbettest, gehen an den Anbieter, ausser du betreibst das Modell selbst.
Beispiel
Drei Sätze: «Wie setze ich mein Passwort zurück?», «Ich habe mein Login vergessen» und «Beste Pizza in Rom». Ein Embedding-Modell macht aus jedem einen Vektor. Die ersten zwei liegen nah beieinander. Der dritte liegt weit weg. Eine Hilfe-Suche nutzt das und zeigt zum zweiten Satz den Passwort-Artikel.
Häufige Irrtümer
- «Ein Embedding ist eine Chat-Antwort.» Es ist ein Werkzeug zum Finden und Vergleichen, nicht zum Schreiben.
- «Ein längerer Vektor ist immer besser.» Längere Vektoren fassen mehr Detail, kosten aber mehr Speicher und Suchzeit.
- «Embeddings sind anonym.» Sie stammen aus deinem Text. Behandle sie mit derselben Sorgfalt wie den Text.
Fragen und Antworten
Was ist ein Embedding einfach erklärt?
Eine Zahlenliste, die für die Bedeutung eines Textes steht. Ähnliche Texte erhalten ähnliche Zahlen, so findet ein Computer verwandte Dinge.
Wofür nutzt man Embeddings?
Für die Suche nach Bedeutung, für die Abschnittssuche bei RAG, zum Gruppieren ähnlicher Texte, zum Finden von Duplikaten und für Empfehlungen.
Sind Embeddings dasselbe wie Token?
Nein. Token sind die kleinen Stücke, die ein Modell liest. Ein Embedding ist ein Vektor für die Bedeutung eines ganzen Textes oder eines Tokens im Modell.
Weiterlesen
- RAG (Retrieval-Augmented Generation)
RAG (Retrieval-Augmented Generation) sucht zuerst passende Stellen in deinen Dokumenten und gibt sie dem Modell, damit es daraus antwortet.
- Token
Ein Token ist ein kleines Textstück, oft ein Wortteil, das ein KI-Modell liest, schreibt und abrechnet.
- Large Language Model (LLM)
Ein Large Language Model (LLM) ist ein KI-System, das mit riesigen Textmengen lernt, das nächste Token vorherzusagen, und so schreibt, fasst zusammen und antwortet.
- Halluzination
Eine Halluzination ist eine flüssige, sicher klingende KI-Antwort, die falsch oder erfunden ist oder nicht zu den gegebenen Quellen passt.