O que são Embeddings Vetoriais e Bancos de Dados Vetoriais?

Por que o Rememberizer é mais do que apenas um banco de dados ou um mecanismo de busca por palavras-chave

Rememberizer usa embeddings vetoriais em bancos de dados vetoriais para permitir buscas por similaridade semântica dentro das fontes de conhecimento do usuário. Esta é uma forma fundamentalmente mais avançada e sutil de recuperação de informações do que simplesmente procurar palavras-chave em conteúdo através de um mecanismo de busca ou banco de dados tradicional.

Visualização de um espaço vetorial multidimensional

Como a Rememberizer Usa Embeddings Vetoriais

Na sua forma mais avançada (como usado pela Rememberizer), os embeddings vetoriais são criados por modelos de linguagem com arquiteturas semelhantes aos LLMs de IA (Modelos de Linguagem de Grande Escala) que sustentam os modelos GPT da OpenAI e o serviço ChatGPT, assim como modelos/serviços do Google (Gemini), Anthropic (Claude), Meta (LLaMA) e outros.

Isso torna os embeddings vetoriais uma escolha natural para descobrir conhecimento relevante a ser incluído no contexto dos prompts dos modelos de IA. As tecnologias são complementares e conceitualmente relacionadas. Por essa razão, a maioria dos provedores de LLMs como serviço também produz embeddings vetoriais como serviço (por exemplo: o endpoint de embeddings da Together AI ou os embeddings de texto e código da OpenAI).

Compreendendo Embeddings Vetoriais

Como é um embedding vetorial? Considere uma coordenada (x,y) em duas dimensões. Se ela representa uma linha da origem até este ponto, podemos pensar nela como uma linha com uma direção—em outras palavras, um vetor em duas dimensões.

No contexto do Rememberizer, um embedding vetorial é tipicamente uma lista de várias centenas de números (geralmente 768, 1024 ou 1536) representando um vetor em um espaço de alta dimensão. Esta lista de números pode representar pesos em um modelo Transformer que definem o significado em uma frase como "Um raio do nada." Esta é fundamentalmente a mesma representação subjacente de significado usada em modelos como o GPT-4. Como resultado, um bom embedding vetorial possibilita a mesma compreensão sofisticada que vemos em modelos de linguagem de IA modernos.

Além do Texto: Embeddings Multimodais

Embeddings vetoriais podem representar mais do que apenas texto—eles também podem codificar outros tipos de dados, como imagens ou som. Com modelos devidamente treinados, você pode comparar diferentes tipos de mídia, permitindo que um embedding vetorial de texto seja comparado a uma imagem, ou vice-versa.

Atualmente, o Rememberizer permite buscas dentro do componente de texto de documentos e conhecimentos dos usuários. As capacidades de busca de texto para imagem e de imagem para texto estão no roadmap do Rememberizer para desenvolvimento futuro.

Aplicações no Mundo Real

Grandes empresas de tecnologia utilizam embeddings vetoriais em seus produtos:

• Google usa embeddings vetoriais para impulsionar tanto sua busca de texto (texto-para-texto) quanto suas capacidades de busca de imagem (texto-para-imagem) (referência)
• Meta (Facebook) implementou embeddings para a busca em sua rede social (referência)
• Snapchat utiliza embeddings vetoriais para entender o contexto e servir publicidade direcionada (referência)

Como a Busca Vetorial do Rememberizer Difere da Busca por Palavras-chave

A busca por palavras-chave encontra correspondências exatas ou sinônimos predeterminados. Em contraste, a busca vetorial do Rememberizer encontra conteúdo que está conceitualmente relacionado, mesmo quando uma terminologia diferente é usada. Por exemplo:

• Uma busca por palavras-chave para "cuidados com cães" pode perder um documento relevante sobre "manutenção da saúde canina"

• A busca vetorial do Rememberizer reconheceria esses conceitos como semanticamente semelhantes e retornaria ambos

Essa capacidade torna o Rememberizer particularmente poderoso para recuperar informações relevantes de diversas fontes de conhecimento.

Em breve: Visualização do Processo de Busca Vetorial

Este diagrama ilustrará o fluxo de trabalho completo da busca semântica no Rememberizer:

• Divisão e pré-processamento de documentos

• Processo de geração de embeddings vetoriais

• Armazenamento em banco de dados vetorial

• Embedding de consulta de busca

• Cálculo de correspondência de similaridade

• Comparação lado a lado com a busca tradicional por palavras-chave

Recursos Técnicos

Para entender profundamente como funcionam as incorporações vetoriais e os bancos de dados vetoriais:

• Comece com a visão geral da Hugging Face
• Pinecone (um serviço de banco de dados vetorial) oferece uma boa introdução às incorporações vetoriais
• A biblioteca FAISS da Meta: "FAISS: A Library for Efficient Similarity Search and Clustering of Dense Vectors" por Johnson, Douze e Jégou (2017) fornece insights abrangentes sobre busca de similaridade vetorial eficiente (repositório do GitHub)

A Fundação da IA Moderna

As tecnologias por trás das incorporações vetoriais evoluíram significativamente ao longo do tempo:

• O artigo de 2017 "Attention Is All You Need" (referência) introduziu a arquitetura Transformer que alimenta os LLMs modernos e modelos de incorporação avançados
• "Approximate Nearest Neighbors: Towards Removing the Curse of Dimensionality" (1998, 2010) estabeleceu a teoria para busca de similaridade eficiente em espaços de alta dimensão
• BERT (2018, referência) demonstrou o poder do treinamento bidirecional para tarefas de compreensão de linguagem
• Métodos anteriores como GloVe (2014, referência) e Word2Vec (2013, referência) lançaram as bases para incorporações de palavras neurais

Para detalhes de implementação técnica e orientações voltadas para desenvolvedores sobre o uso de lojas vetoriais com o Rememberizer, veja Lojas Vetoriais.

Um aspecto notável dos modelos baseados em Transformer são suas propriedades de escalabilidade—à medida que usam mais dados e têm mais parâmetros, sua compreensão e capacidades melhoram dramaticamente. Essa propriedade de escalabilidade foi observada com modelos como o GPT-2 e tem impulsionado o rápido avanço das capacidades de IA.

Pesquisadores do Google estavam por trás da arquitetura Transformer original descrita em "Attention Is All You Need" (referência da patente), embora muitas organizações tenham desde então construído e ampliado esse trabalho fundamental.