O que são Embeddings Vetoriais e Bancos de Dados Vetoriais?
Por que o Rememberizer é mais do que apenas um banco de dados ou um mecanismo de busca por palavras-chave
Last updated
Por que o Rememberizer é mais do que apenas um banco de dados ou um mecanismo de busca por palavras-chave
Last updated
Rememberizer usa embeddings vetoriais em bancos de dados vetoriais para permitir buscas por similaridade semântica dentro das fontes de conhecimento do usuário. Esta é uma forma fundamentalmente mais avançada e sutil de recuperação de informações do que simplesmente procurar palavras-chave em conteúdo através de um mecanismo de busca ou banco de dados tradicional.
Na sua forma mais avançada (como usado pela Rememberizer), os embeddings vetoriais são criados por modelos de linguagem com arquiteturas semelhantes aos LLMs de IA (Modelos de Linguagem de Grande Escala) que sustentam os modelos GPT da OpenAI e o serviço ChatGPT, assim como modelos/serviços do Google (Gemini), Anthropic (Claude), Meta (LLaMA) e outros.
Como é um embedding vetorial? Considere uma coordenada (x,y) em duas dimensões. Se ela representa uma linha da origem até este ponto, podemos pensar nela como uma linha com uma direção—em outras palavras, um vetor em duas dimensões.
No contexto do Rememberizer, um embedding vetorial é tipicamente uma lista de várias centenas de números (geralmente 768, 1024 ou 1536) representando um vetor em um espaço de alta dimensão. Esta lista de números pode representar pesos em um modelo Transformer que definem o significado em uma frase como "Um raio do nada." Esta é fundamentalmente a mesma representação subjacente de significado usada em modelos como o GPT-4. Como resultado, um bom embedding vetorial possibilita a mesma compreensão sofisticada que vemos em modelos de linguagem de IA modernos.
Embeddings vetoriais podem representar mais do que apenas texto—eles também podem codificar outros tipos de dados, como imagens ou som. Com modelos devidamente treinados, você pode comparar diferentes tipos de mídia, permitindo que um embedding vetorial de texto seja comparado a uma imagem, ou vice-versa.
Atualmente, o Rememberizer permite buscas dentro do componente de texto de documentos e conhecimentos dos usuários. As capacidades de busca de texto para imagem e de imagem para texto estão no roadmap do Rememberizer para desenvolvimento futuro.
Grandes empresas de tecnologia utilizam embeddings vetoriais em seus produtos:
A busca por palavras-chave encontra correspondências exatas ou sinônimos predeterminados. Em contraste, a busca vetorial do Rememberizer encontra conteúdo que está conceitualmente relacionado, mesmo quando uma terminologia diferente é usada. Por exemplo:
Uma busca por palavras-chave para "cuidados com cães" pode perder um documento relevante sobre "manutenção da saúde canina"
A busca vetorial do Rememberizer reconheceria esses conceitos como semanticamente semelhantes e retornaria ambos
Essa capacidade torna o Rememberizer particularmente poderoso para recuperar informações relevantes de diversas fontes de conhecimento.
Em breve: Visualização do Processo de Busca Vetorial
Este diagrama ilustrará o fluxo de trabalho completo da busca semântica no Rememberizer:
Divisão e pré-processamento de documentos
Processo de geração de embeddings vetoriais
Armazenamento em banco de dados vetorial
Embedding de consulta de busca
Cálculo de correspondência de similaridade
Comparação lado a lado com a busca tradicional por palavras-chave
Para entender profundamente como funcionam as incorporações vetoriais e os bancos de dados vetoriais:
As tecnologias por trás das incorporações vetoriais evoluíram significativamente ao longo do tempo:
Isso torna os embeddings vetoriais uma escolha natural para descobrir conhecimento relevante a ser incluído no contexto dos prompts dos modelos de IA. As tecnologias são complementares e conceitualmente relacionadas. Por essa razão, a maioria dos provedores de LLMs como serviço também produz embeddings vetoriais como serviço (por exemplo: ou ).
Google usa embeddings vetoriais para impulsionar tanto sua busca de texto (texto-para-texto) quanto suas capacidades de busca de imagem (texto-para-imagem) ()
Meta (Facebook) implementou embeddings para a busca em sua rede social ()
Snapchat utiliza embeddings vetoriais para entender o contexto e servir publicidade direcionada ()
Comece com a
Pinecone (um serviço de banco de dados vetorial) oferece uma boa
A biblioteca FAISS da Meta: "FAISS: A Library for Efficient Similarity Search and Clustering of Dense Vectors" por Johnson, Douze e Jégou (2017) fornece insights abrangentes sobre busca de similaridade vetorial eficiente ()
O artigo de 2017 "Attention Is All You Need" () introduziu a arquitetura Transformer que alimenta os LLMs modernos e modelos de incorporação avançados
"Approximate Nearest Neighbors: Towards Removing the Curse of Dimensionality" (, ) estabeleceu a teoria para busca de similaridade eficiente em espaços de alta dimensão
BERT (2018, ) demonstrou o poder do treinamento bidirecional para tarefas de compreensão de linguagem
Métodos anteriores como GloVe (2014, ) e Word2Vec (2013, ) lançaram as bases para incorporações de palavras neurais
Para detalhes de implementação técnica e orientações voltadas para desenvolvedores sobre o uso de lojas vetoriais com o Rememberizer, veja .
Pesquisadores do Google estavam por trás da arquitetura Transformer original descrita em "Attention Is All You Need" (), embora muitas organizações tenham desde então construído e ampliado esse trabalho fundamental.
