Cyberpediapor Brain

Embeddings e bases de dados vetoriais

Como um texto se torna coordenadas, como uma base vetorial as organiza e o que convém saber antes de lá carregar um documento.

Nesta página
  1. 1Em 30 segundos
  2. 2Do que se trata
  3. 3Perguntas diretas
  4. 4Como funciona
  5. 5O que faz
  6. 6As armadilhas
  7. 7Casos reais
  8. 8Fontes
  9. 9Citar este artigo

Em 30 segundos

Onde acontece
Num assistente que responde a partir de documentos indexados. A Microsoft cita esta utilização, a geração aumentada por recuperação (RAG), entre as de uma base vetorial[2].
O que se passa
Consoante a configuração, o documento é dividido, convertido em vetores e depois arrumado num índice que se interroga pelo sentido[2].
O reflexo
Antes de carregar um documento, perguntar quem o poderá obter através do assistente e tratar a versão indexada como o próprio documento.
Se já foi feito
Avisar o responsável do assistente ou a segurança para que o documento seja retirado do índice.

Do que se trata

Um embedding é uma sequência de números, coordenadas, que representa um conteúdo. Dois conteúdos de sentido próximo recebem coordenadas próximas. Para as palavras, a ideia assenta nos trabalhos de Tomas Mikolov e dos seus coautores, submetidos a 16 de janeiro de 2013, que propõem duas arquiteturas para calcular representações vetoriais contínuas de palavras a partir de conjuntos de dados muito grandes[1].

Uma base vetorial guarda essas coordenadas para encontrar os conteúdos mais próximos de um pedido de pesquisa. A Microsoft descreve a pesquisa vetorial como um emparelhamento baseado nos vetores mais próximos do vetor da consulta. Permite aproximar “dog” e “canine”, duas palavras conceptualmente próximas mas distintas na forma[2].

Para um colaborador, o caso comum é o assistente ligado aos documentos da empresa. Esta ficha explica o princípio e depois o que convém saber antes de lá carregar um documento.

Perguntas diretas

O que é um embedding?

É uma representação numérica de um conteúdo. O modelo Skip-gram, apresentado por Mikolov e pelos seus coautores, aprende vetores de palavras que captam um grande número de relações sintáticas e semânticas precisas[3]. Os autores assinalam um limite: estas representações ignoram a ordem das palavras e não traduzem as expressões idiomáticas. Os sentidos de “Canada” e de “Air” não se combinam facilmente para dar “Air Canada”[3].

O BERT, apresentado em outubro de 2018, aprende representações de texto tendo em conta ao mesmo tempo o contexto à esquerda e à direita de uma palavra[4]. O Sentence-BERT, publicado em agosto de 2019, deriva dele embeddings de frases que se comparam por similaridade do cosseno[5].

O que é uma base de dados vetorial?

É um sistema que guarda vetores e encontra os mais próximos de um vetor de consulta. No Azure AI Search, um algoritmo de vizinhos mais próximos coloca os vetores semelhantes perto uns dos outros no índice, e uma consulta devolve os k vizinhos mais próximos[2]. O serviço pode servir de índice vetorial puro, de memória de longo prazo, de base de conhecimento ou de dados de ancoragem para uma arquitetura RAG[2].

É possível reencontrar o texto de origem a partir de um embedding?

Por prudência, a versão indexada de um documento trata-se como o documento.

Conhece-se um risco vizinho para os modelos de linguagem. Em dezembro de 2020, Nicholas Carlini e os seus coautores mostram que um adversário pode recuperar exemplos de treino interrogando um modelo de linguagem[6]. Os autores constatam que os modelos maiores são mais vulneráveis do que os pequenos[6].

Os direitos de acesso acompanham os documentos?

A Microsoft apresenta o Foundry IQ como uma camada de conhecimento que transforma o conteúdo da empresa em “permission-aware knowledge bases” para agentes[2]. A mesma página descreve as consultas filtradas: um filtro aplica-se a campos de texto ou numéricos, serve para os filtros de metadados e permite incluir ou excluir resultados[2]. Resta saber se os direitos de um documento de origem acompanham as passagens indexadas: a pergunta faz-se ao responsável do assistente antes de qualquer carregamento.

Um conteúdo armadilhado, depois de indexado, pode influenciar as respostas?

Numa arquitetura RAG, o modelo combina a sua memória própria e uma memória externa[7]. Os autores do RAG original usam um índice vetorial denso da Wikipédia, interrogado por um motor de pesquisa neuronal[7]. Uma das suas formulações condiciona toda a resposta às mesmas passagens recuperadas[7]. O que está indexado entra, portanto, naquilo que o modelo lê para responder.

Quanto aos riscos das aplicações baseadas em modelos de linguagem, o projeto OWASP mantém uma lista das “most critical security vulnerabilities in LLM applications”, da qual é assinalada uma versão de 2025[8].

Como funciona

A cadeia tem três etapas: fabricar os vetores, arrumá-los e depois interrogá-los.

Fabricar os vetores

Um modelo de embedding transforma o texto em vetor. O nome BERT vem de uma arquitetura, o Transformer: Bidirectional Encoder Representations from Transformers[4]. Esta arquitetura, proposta em junho de 2017, assenta unicamente em mecanismos de atenção[9].

O interesse do Sentence-BERT está na velocidade. Com o BERT sozinho, encontrar o par mais semelhante entre 10 000 frases requer cerca de 50 milhões de cálculos de inferência, ou seja, cerca de 65 horas. Com o Sentence-BERT, o esforço desce para cerca de 5 segundos, com a precisão mantida[5].

Arrumar os vetores

O Azure AI Search descreve duas vias. No tratamento interno, o serviço divide os documentos em pedaços e vetoriza-os num pipeline de indexador. O cliente fornece os recursos, como os pontos de acesso e as informações de ligação do Azure OpenAI[2]. No tratamento externo, os embeddings são produzidos fora do serviço e depois enviados para os campos vetoriais do índice[2].

Interrogar

Uma etapa de codificação pode transformar a consulta do utilizador em vetor antes de a enviar ao índice[2]. A pesquisa híbrida executa em paralelo a pesquisa vetorial e a pesquisa por palavras-chave, e funde os resultados numa única resposta. A Microsoft escreve que dá muitas vezes melhores resultados do que uma ou outra isoladamente[2].

O que faz

Antes de carregar um documento num assistente ou num índice:

  • Pergunte quem pode interrogar o assistente e se os direitos do documento de origem são aplicados às respostas.
  • Verifique para onde vão os textos. Numa configuração integrada, o serviço chama um modelo de embedding, por exemplo o do Azure OpenAI[2].
  • Considere que a cópia indexada tem a mesma sensibilidade que o original, enquanto ninguém tiver estabelecido o contrário.
  • Não carregue um documento cuja proveniência desconhece. Numa arquitetura RAG, passagens recuperadas condicionam a resposta[7].
  • Se o documento já foi carregado por engano, assinale-o imediatamente à pessoa que administra o assistente.

As armadilhas

  • A pesquisa pelo sentido aproxima conteúdos de sentido próximo, e não apenas os que contêm as mesmas palavras. A Microsoft cita a correspondência entre “dog” e “canine”, entre duas línguas ou entre um texto e uma imagem[2].
  • Um embedding pode ser multimodal: texto e imagens podem partilhar o mesmo espaço de pesquisa[2].
  • Uma base vetorial é um motor de pesquisa. O Azure AI Search propõe filtros de metadados e serve de base ao Foundry IQ[2]; verifique quem a pode interrogar.
  • Os quadros de referência evoluem. O NIST descreve o seu AI RMF como destinado a uso voluntário, publicado a 26 de janeiro de 2023 e em revisão. Um perfil dedicado à IA generativa, NIST-AI-600-1, foi publicado a 26 de julho de 2024[10].

Casos reais

Extração de dados de treino do GPT-2, dezembro de 2020

Carlini e os seus coautores atacam o GPT-2, um modelo treinado em páginas públicas da Internet. Extraem dele centenas de sequências de texto palavra por palavra: dados pessoais públicos (nomes, números de telefone, endereços de e-mail), conversas IRC, código e UUID de 128 bits[6]. O ataque funciona mesmo quando cada sequência figura num único documento de treino[6]. Este caso diz respeito a um modelo de linguagem, não a uma base vetorial.

Fontes

  1. arXiv, «Efficient Estimation of Word Representations in Vector Space», 16 de janeiro de 2013. https://arxiv.org/abs/1301.3781 (consultado em 10 de novembro de 2026)
  2. Microsoft, «Vector Search Overview - Azure AI Search». https://learn.microsoft.com/en-us/azure/search/vector-search-overview (consultado em 10 de novembro de 2026)
  3. arXiv, «Distributed Representations of Words and Phrases and their Compositionality», 16 de outubro de 2013. https://arxiv.org/abs/1310.4546 (consultado em 10 de novembro de 2026)
  4. arXiv, «BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding», 11 de outubro de 2018. https://arxiv.org/abs/1810.04805 (consultado em 10 de novembro de 2026)
  5. arXiv, «Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks», 27 de agosto de 2019. https://arxiv.org/abs/1908.10084 (consultado em 10 de novembro de 2026)
  6. arXiv, «Extracting Training Data from Large Language Models», 14 de dezembro de 2020. https://arxiv.org/abs/2012.07805 (consultado em 10 de novembro de 2026)
  7. arXiv, «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks», 22 de maio de 2020. https://arxiv.org/abs/2005.11401 (consultado em 10 de novembro de 2026)
  8. OWASP, «OWASP Top 10 for Large Language Model Applications | OWASP Foundation». https://owasp.org/projects/top-10-for-large-language-model-applications (consultado em 10 de novembro de 2026)
  9. arXiv, «Attention Is All You Need», 12 de junho de 2017. https://arxiv.org/abs/1706.03762 (consultado em 10 de novembro de 2026)
  10. NIST, «AI Risk Management Framework». https://www.nist.gov/itl/ai-risk-management-framework (consultado em 10 de novembro de 2026)