Cosa sono gli Embedding Vettoriali e i Database Vettoriali?
Perché Rememberizer è più di un semplice database o motore di ricerca per parole chiave
Last updated
Perché Rememberizer è più di un semplice database o motore di ricerca per parole chiave
Last updated
Rememberizer utilizza embedding vettoriali in database vettoriali per abilitare ricerche di somiglianza semantica all'interno delle fonti di conoscenza degli utenti. Questa è una forma di recupero delle informazioni fondamentalmente più avanzata e sfumata rispetto alla semplice ricerca di parole chiave nei contenuti tramite un motore di ricerca o un database tradizionale.
Nella loro forma più avanzata (come utilizzato da Rememberizer), gli embedding vettoriali sono creati da modelli linguistici con architetture simili a quelle degli LLM AI (Modelli Linguistici di Grandi Dimensioni) che sostengono i modelli GPT di OpenAI e il servizio ChatGPT, così come modelli/servizi di Google (Gemini), Anthropic (Claude), Meta (LLaMA) e altri.
Come appare un embedding vettoriale? Considera una coordinata (x,y) in due dimensioni. Se rappresenta una linea dall'origine a questo punto, possiamo pensarla come una linea con una direzione— in altre parole, un vettore in due dimensioni.
Nel contesto di Rememberizer, un embedding vettoriale è tipicamente un elenco di diverse centinaia di numeri (spesso 768, 1024 o 1536) che rappresentano un vettore in uno spazio ad alta dimensione. Questo elenco di numeri può rappresentare pesi in un modello Transformer che definiscono il significato in una frase come "Un fulmine dal nulla." Questa è fondamentalmente la stessa rappresentazione sottostante del significato utilizzata in modelli come GPT-4. Di conseguenza, un buon embedding vettoriale consente la stessa comprensione sofisticata che vediamo nei moderni modelli di linguaggio AI.
Le embedding vettoriali possono rappresentare più che solo testo: possono anche codificare altri tipi di dati come immagini o suoni. Con modelli opportunamente addestrati, è possibile confrontare diversi tipi di media, consentendo a un embedding vettoriale di testo di essere confrontato con un'immagine, o viceversa.
Attualmente, Rememberizer consente ricerche all'interno della componente testuale dei documenti e della conoscenza degli utenti. Le capacità di ricerca da testo a immagine e da immagine a testo sono nella roadmap di Rememberizer per lo sviluppo futuro.
Le principali aziende tecnologiche sfruttano gli embedding vettoriali nei loro prodotti:
La ricerca per parole chiave trova corrispondenze esatte o sinonimi predeterminati. Al contrario, la ricerca vettoriale di Rememberizer trova contenuti che sono concettualmente correlati, anche quando viene utilizzata una terminologia diversa. Ad esempio:
Una ricerca per parole chiave per "cura del cane" potrebbe perdere un documento rilevante su "manutenzione della salute canina"
La ricerca vettoriale di Rememberizer riconoscerebbe questi concetti come semanticamente simili e restituirebbe entrambi
Questa capacità rende Rememberizer particolarmente potente per recuperare informazioni rilevanti da diverse fonti di conoscenza.
In arrivo: Visualizzazione del Processo di Ricerca Vettoriale
Questo diagramma illustrerà il flusso di lavoro completo della ricerca semantica in Rememberizer:
Suddivisione e pre-elaborazione dei documenti
Processo di generazione degli embedding vettoriali
Archiviazione nel database vettoriale
Embedding della query di ricerca
Calcolo della corrispondenza di similarità
Confronto affiancato con la ricerca tradizionale per parole chiave
Per comprendere a fondo come funzionano gli embedding vettoriali e i database vettoriali:
Le tecnologie dietro gli embedding vettoriali si sono evolute significativamente nel tempo:
Questo rende gli embedding vettoriali una scelta naturale per scoprire conoscenze rilevanti da includere nel contesto dei prompt dei modelli AI. Le tecnologie sono complementari e concettualmente correlate. Per questo motivo, la maggior parte dei fornitori di LLM come servizio produce anche embedding vettoriali come servizio (per esempio: o ).
Google utilizza gli embedding vettoriali per alimentare sia la ricerca testuale (testo-testo) che la ricerca di immagini (testo-immagine) ()
Meta (Facebook) ha implementato gli embedding per la ricerca nel loro social network ()
Snapchat utilizza gli embedding vettoriali per comprendere il contesto e servire pubblicità mirate ()
Inizia con la
Pinecone (un servizio di database vettoriale) offre una buona
La libreria FAISS di Meta: "FAISS: A Library for Efficient Similarity Search and Clustering of Dense Vectors" di Johnson, Douze e Jégou (2017) fornisce approfondimenti completi sulla ricerca di similarità vettoriale efficiente ()
Il documento del 2017 "Attention Is All You Need" () ha introdotto l'architettura Transformer che alimenta i moderni LLM e i modelli di embedding avanzati
"Approximate Nearest Neighbors: Towards Removing the Curse of Dimensionality" (, ) ha stabilito la teoria per la ricerca di somiglianze efficienti in spazi ad alta dimensione
BERT (2018, ) ha dimostrato il potere dell'addestramento bidirezionale per i compiti di comprensione del linguaggio
Metodi precedenti come GloVe (2014, ) e Word2Vec (2013, ) hanno gettato le basi per gli embedding neurali delle parole
Per dettagli tecnici sull'implementazione e indicazioni orientate agli sviluppatori sull'uso dei vettori di archiviazione con Rememberizer, vedere .
I ricercatori di Google erano dietro l'architettura Transformer originale descritta in "Attention Is All You Need" (), anche se molte organizzazioni hanno successivamente costruito e ampliato questo lavoro fondamentale.
