# Was sind Vektor-Embeddings und Vektor-Datenbanken? Rememberizer verwendet Vektor-Embeddings in Vektor-Datenbanken, um Suchen nach semantischer Ähnlichkeit innerhalb von Benutzerwissensquellen zu ermöglichen. Dies ist eine grundsätzlich fortschrittlichere und nuanciertere Form der Informationsbeschaffung als einfach nur nach Schlüsselwörtern in Inhalten über eine traditionelle Suchmaschine oder Datenbank zu suchen.
Eine Visualisierung eines mehrdimensionalen Vektorraums

Visualisierung eines mehrdimensionalen Vektorraums

## Wie Rememberizer Vektor-Embeddings Verwendet In ihrer fortschrittlichsten Form (wie sie von Rememberizer verwendet werden) werden Vektor-Embeddings von Sprachmodellen mit Architekturen erstellt, die den KI-LLMs (Large Language Models) ähneln, die den GPT-Modellen und dem ChatGPT-Dienst von OpenAI zugrunde liegen, sowie Modellen/Diensten von Google (Gemini), Anthropic (Claude), Meta (LLaMA) und anderen. Dies macht Vektor-Embeddings zu einer natürlichen Wahl, um relevantes Wissen zu entdecken, das im Kontext von KI-Modellaufforderungen einbezogen werden kann. Die Technologien sind komplementär und konzeptionell miteinander verbunden. Aus diesem Grund produzieren die meisten Anbieter von LLMs als Dienst auch Vektor-Embeddings als Dienst (zum Beispiel: [Together AIs Embeddings-Endpunkt](https://www.together.ai/blog/embeddings-endpoint-release) oder [OpenAIs Text- und Code-Embeddings](https://openai.com/blog/introducing-text-and-code-embeddings)). ## Verständnis von Vektor-Embeddings Wie sieht ein Vektor-Embedding aus? Betrachten Sie eine Koordinate (x,y) in zwei Dimensionen. Wenn sie eine Linie vom Ursprung zu diesem Punkt darstellt, können wir sie als eine Linie mit einer Richtung betrachten—mit anderen Worten, als einen *Vektor in zwei Dimensionen*. Im Kontext von Rememberizer ist ein Vektor-Embedding typischerweise eine Liste von mehreren hundert Zahlen (oft 768, 1024 oder 1536), die einen Vektor in einem hochdimensionalen Raum darstellen. Diese Liste von Zahlen kann Gewichte in einem Transformer-Modell repräsentieren, die die Bedeutung in einem Satz wie "Ein Blitz aus heiterem Himmel." definieren. Dies ist grundsätzlich die gleiche zugrunde liegende Darstellung von Bedeutung, die in Modellen wie GPT-4 verwendet wird. Infolgedessen ermöglicht ein gutes Vektor-Embedding das gleiche anspruchsvolle Verständnis, das wir in modernen KI-Sprachmodellen sehen. ## Über Text hinaus: Multimodale Einbettungen Vektor-Einbettungen können mehr als nur Text darstellen – sie können auch andere Datentypen wie Bilder oder Ton kodieren. Mit richtig trainierten Modellen können Sie über Medientypen hinweg vergleichen, sodass eine Vektor-Einbettung von Text mit einem Bild oder umgekehrt verglichen werden kann. Derzeit ermöglicht Rememberizer Suchen innerhalb des Textkomponenten von Benutzerdokumenten und Wissen. Die Funktionen zur Text-zu-Bild- und Bild-zu-Text-Suche stehen auf der Roadmap von Rememberizer für die zukünftige Entwicklung. ## Anwendungsbeispiele aus der Praxis Große Technologieunternehmen nutzen Vektor-Embeddings in ihren Produkten: * **Google** verwendet Vektor-Embeddings, um sowohl ihre Textsuche (Text-zu-Text) als auch ihre Bildsuche (Text-zu-Bild) zu unterstützen ([Referenz](https://cloud.google.com/blog/topics/developers-practitioners/meet-ais-multitool-vector-embeddings)) * **Meta (Facebook)** hat Embeddings für die Suche in ihrem sozialen Netzwerk implementiert ([Referenz](https://research.facebook.com/publications/embedding-based-retrieval-in-facebook-search/)) * **Snapchat** nutzt Vektor-Embeddings, um den Kontext zu verstehen und gezielte Werbung auszuspielen ([Referenz](https://eng.snap.com/machine-learning-snap-ad-ranking)) ## Wie sich die Vektorsuche von Rememberizer von der Schlüsselwortsuche unterscheidet Die Schlüsselwortsuche findet exakte Übereinstimmungen oder vorbestimmte Synonyme. Im Gegensatz dazu findet die Vektorsuche von Rememberizer Inhalte, die konzeptionell verwandt sind, selbst wenn unterschiedliche Terminologie verwendet wird. Zum Beispiel: * Eine Schlüsselwortsuche nach "Hundepflege" könnte ein relevantes Dokument über "Hunde-Gesundheitsmanagement" übersehen * Die Vektorsuche von Rememberizer würde diese Konzepte als semantisch ähnlich erkennen und beide zurückgeben Diese Fähigkeit macht Rememberizer besonders leistungsfähig, um relevante Informationen aus verschiedenen Wissensquellen abzurufen. Demnächst: Visualisierung des Vektorsuche-Prozesses Dieses Diagramm wird den vollständigen semantischen Suchworkflow in Rememberizer veranschaulichen: * Dokumentchunking und Vorverarbeitung * Prozess der Vektoreinbettungsgenerierung * Speicherung in der Vektordatenbank * Einbettung der Suchanfrage * Berechnung der Ähnlichkeitsübereinstimmung * Seiten-by-Seiten-Vergleich mit traditioneller Schlüsselwortsuche ## Technische Ressourcen Um zu verstehen, wie Vektor-Embeddings und Vektor-Datenbanken funktionieren: * Beginnen Sie mit der [Übersicht von Hugging Face](https://huggingface.co/blog/getting-started-with-embeddings) * Pinecone (ein Vektor-Datenbankdienst) bietet eine gute [Einführung in Vektor-Embeddings](https://www.pinecone.io/learn/vector-embeddings/) * Metas FAISS-Bibliothek: "FAISS: A Library for Efficient Similarity Search and Clustering of Dense Vectors" von Johnson, Douze und Jégou (2017) bietet umfassende Einblicke in die effiziente Vektorähnlichkeitssuche ([GitHub-Repository](https://github.com/facebookresearch/faiss)) ## Die Grundlage der modernen KI Die Technologien hinter Vektor-Embeddings haben sich im Laufe der Zeit erheblich weiterentwickelt: * Das Papier von 2017 "Attention Is All You Need" ([reference](https://arxiv.org/abs/1706.03762)) führte die Transformer-Architektur ein, die moderne LLMs und fortschrittliche Embedding-Modelle antreibt * "Approximate Nearest Neighbors: Towards Removing the Curse of Dimensionality" ([1998](https://dl.acm.org/doi/10.1145/276698.276876), [2010](https://www.theoryofcomputing.org/articles/v008a014/v008a014.pdf)) etablierte die Theorie für effiziente Ähnlichkeitssuche in hochdimensionalen Räumen * BERT (2018, [reference](https://arxiv.org/abs/1810.04805)) demonstrierte die Kraft des bidirektionalen Trainings für Aufgaben des Sprachverständnisses * Frühere Methoden wie GloVe (2014, [reference](https://nlp.stanford.edu/pubs/glove.pdf)) und Word2Vec (2013, [reference](https://arxiv.org/abs/1301.3781)) legten das Fundament für neuronale Wort-Embeddings Für technische Implementierungsdetails und entwicklerorientierte Anleitungen zur Verwendung von Vektor-Speichern mit Rememberizer siehe [Vector Stores](https://docs.rememberizer.ai/de/entwicklerressourcen/integration-options/vector-stores). {% hint style="info" %} Ein bemerkenswerter Aspekt von auf Transformern basierenden Modellen sind ihre Skalierungseigenschaften – je mehr Daten sie verwenden und je mehr Parameter sie haben, desto dramatischer verbessert sich ihr Verständnis und ihre Fähigkeiten. Diese Skalierungseigenschaft wurde bei Modellen wie GPT-2 beobachtet und hat den raschen Fortschritt der KI-Fähigkeiten vorangetrieben. Google-Forscher waren hinter der ursprünglichen Transformer-Architektur, die in "Attention Is All You Need" beschrieben wird ([patent reference](https://patents.google.com/patent/US10452978B2/en)), obwohl viele Organisationen seitdem auf dieser grundlegenden Arbeit aufgebaut und sie erweitert haben. {% endhint %} --- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://docs.rememberizer.ai/de/background/what-are-vector-embeddings-and-vector-databases.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.