Cyberpediaod Brain

Embeddingi i wektorowe bazy danych

Jak tekst zamienia się we współrzędne, jak baza wektorowa je przechowuje i co warto wiedzieć, zanim wgra się do niej dokument.

Na tej stronie
  1. 1W 30 sekund
  2. 2O co chodzi
  3. 3Pytania wprost
  4. 4Jak to działa
  5. 5Co robić
  6. 6Pułapki
  7. 7Rzeczywiste przypadki
  8. 8Źródła
  9. 9Zacytuj ten artykuł

W 30 sekund

Gdzie to się zdarza
W asystencie, który odpowiada na podstawie zaindeksowanych dokumentów. Microsoft wymienia to zastosowanie, generowanie wspomagane wyszukiwaniem (RAG), wśród zastosowań bazy wektorowej[2].
Co się dzieje
Zależnie od konfiguracji dokument jest dzielony na części, zamieniany na wektory, a następnie przechowywany w indeksie, który przeszukuje się według znaczenia[2].
Odruch
Przed wgraniem dokumentu zapytać, kto będzie mógł go uzyskać za pośrednictwem asystenta, i traktować zaindeksowaną wersję jak sam dokument.
Jeśli już się stało
Powiadomić osobę odpowiedzialną za asystenta lub dział bezpieczeństwa, aby dokument został usunięty z indeksu.

O co chodzi

Embedding to ciąg liczb, czyli współrzędnych, który reprezentuje jakąś treść. Dwie treści o zbliżonym znaczeniu otrzymują zbliżone współrzędne. W przypadku słów pomysł opiera się na pracach Tomasa Mikolova i jego współautorów, przesłanych 16 stycznia 2013 roku, które proponują dwie architektury do obliczania ciągłych reprezentacji wektorowych słów na podstawie bardzo dużych zbiorów danych[1].

Baza wektorowa przechowuje te współrzędne, aby odnaleźć treści najbliższe zapytaniu. Microsoft opisuje wyszukiwanie wektorowe jako dopasowanie oparte na wektorach najbliższych wektorowi zapytania. Pozwala ono zbliżyć „dog” i „canine”, dwa słowa bliskie pojęciowo, lecz różne w zapisie[2].

Dla pracownika typowy przypadek to asystent podłączony do dokumentów firmy. Ten artykuł wyjaśnia zasadę, a następnie to, co warto wiedzieć, zanim wgra się do niego dokument.

Pytania wprost

Czym jest embedding?

To liczbowa reprezentacja treści. Model Skip-gram, przedstawiony przez Mikolova i jego współautorów, uczy się wektorów słów, które oddają dużą liczbę precyzyjnych zależności składniowych i semantycznych[3]. Autorzy zauważają ograniczenie: te reprezentacje pomijają kolejność słów i nie oddają wyrażeń idiomatycznych. Znaczeń „Canada” i „Air” nie da się łatwo połączyć w „Air Canada”[3].

BERT, przedstawiony w październiku 2018 roku, uczy się reprezentacji tekstu, uwzględniając jednocześnie kontekst po lewej i po prawej stronie słowa[4]. Sentence-BERT, opublikowany w sierpniu 2019 roku, wyprowadza z niego embeddingi zdań, które porównuje się za pomocą podobieństwa cosinusowego[5].

Czym jest wektorowa baza danych?

To system, który przechowuje wektory i odnajduje te najbliższe wektorowi zapytania. W Azure AI Search algorytm najbliższych sąsiadów umieszcza podobne wektory blisko siebie w indeksie, a zapytanie zwraca k najbliższych sąsiadów[2]. Usługa może pełnić rolę czystego indeksu wektorowego, pamięci długoterminowej, bazy wiedzy lub danych uziemiających dla architektury RAG[2].

Czy z embeddingu można odtworzyć pierwotny tekst?

Dla ostrożności zaindeksowaną wersję dokumentu traktuje się jak sam dokument.

Podobne ryzyko jest znane w przypadku modeli językowych. W grudniu 2020 roku Nicholas Carlini i jego współautorzy wykazują, że przeciwnik może odzyskać przykłady treningowe, odpytując model językowy[6]. Autorzy stwierdzają, że większe modele są bardziej podatne niż mniejsze[6].

Czy prawa dostępu podążają za dokumentami?

Microsoft przedstawia Foundry IQ jako warstwę wiedzy, która zamienia treści przedsiębiorstwa w „permission-aware knowledge bases” dla agentów[2]. Ta sama strona opisuje zapytania filtrowane: filtr stosuje się do pól tekstowych lub liczbowych, służy do filtrów metadanych i pozwala włączać lub wykluczać wyniki[2]. Pozostaje pytanie, czy prawa dokumentu pierwotnego obowiązują także jego zaindeksowane fragmenty: należy je zadać osobie odpowiedzialnej za asystenta przed wgraniem dokumentu.

Czy podstępna treść, raz zaindeksowana, może wpływać na odpowiedzi?

W architekturze RAG model łączy własną pamięć z pamięcią zewnętrzną[7]. Autorzy pierwotnego RAG używają gęstego indeksu wektorowego Wikipedii, przeszukiwanego przez neuronową wyszukiwarkę[7]. Jedno z ich sformułowań uzależnia całą odpowiedź od tych samych odzyskanych fragmentów[7]. To, co zostało zaindeksowane, wchodzi więc w skład tego, co model czyta, by odpowiedzieć.

Jeśli chodzi o ryzyka aplikacji opartych na modelach językowych, projekt OWASP prowadzi listę „most critical security vulnerabilities in LLM applications”, z której wskazana jest wersja z 2025 roku[8].

Jak to działa

Łańcuch składa się z trzech etapów: wytworzenia wektorów, ich przechowywania, a następnie odpytywania.

Wytwarzanie wektorów

Model embeddingu zamienia tekst na wektor. Nazwa BERT pochodzi od architektury, Transformera: Bidirectional Encoder Representations from Transformers[4]. Ta architektura, zaproponowana w czerwcu 2017 roku, opiera się wyłącznie na mechanizmach uwagi[9].

Zaleta Sentence-BERT polega na szybkości. Przy samym BERT znalezienie najbardziej podobnej pary wśród 10 000 zdań wymaga około 50 milionów obliczeń wnioskowania, czyli około 65 godzin. Przy Sentence-BERT wysiłek spada do około 5 sekund, przy zachowanej dokładności[5].

Przechowywanie wektorów

Azure AI Search opisuje dwie drogi. W przetwarzaniu wewnętrznym usługa dzieli dokumenty na fragmenty i zamienia je na wektory w potoku indeksatora. Klient dostarcza zasoby, takie jak punkty dostępu i dane połączenia Azure OpenAI[2]. W przetwarzaniu zewnętrznym embeddingi powstają poza usługą, a następnie są przesyłane do pól wektorowych indeksu[2].

Odpytywanie

Etap kodowania może zamienić zapytanie użytkownika na wektor przed wysłaniem go do indeksu[2]. Wyszukiwanie hybrydowe wykonuje równolegle wyszukiwanie wektorowe i wyszukiwanie po słowach kluczowych, a wyniki łączy w jedną odpowiedź. Microsoft pisze, że często daje ono lepsze wyniki niż każde z nich osobno[2].

Co robić

Przed wgraniem dokumentu do asystenta lub do indeksu:

  • Zapytać, kto może odpytywać asystenta i czy prawa dokumentu pierwotnego są stosowane do odpowiedzi.
  • Sprawdzić, dokąd trafiają teksty. W konfiguracji zintegrowanej usługa wywołuje model embeddingu, na przykład ten z Azure OpenAI[2].
  • Uznać, że zaindeksowana kopia ma taką samą wrażliwość jak oryginał, dopóki nikt nie ustalił inaczej.
  • Nie wgrywać dokumentu, którego pochodzenia się nie zna. W architekturze RAG odzyskane fragmenty uzależniają odpowiedź[7].
  • Jeśli dokument został już wgrany przez pomyłkę, natychmiast zgłosić to osobie, która administruje asystentem.

Pułapki

  • Wyszukiwanie według znaczenia zbliża treści o podobnym znaczeniu, a nie tylko te, które zawierają te same słowa. Microsoft przywołuje dopasowanie między „dog” i „canine”, między dwoma językami lub między tekstem a obrazem[2].
  • Embedding może być multimodalny: tekst i obrazy mogą dzielić tę samą przestrzeń wyszukiwania[2].
  • Baza wektorowa jest wyszukiwarką. Azure AI Search oferuje filtry metadanych i stanowi podstawę Foundry IQ[2]; należy sprawdzić, kto może ją odpytywać.
  • Ramy odniesienia ewoluują. NIST opisuje swój AI RMF jako przeznaczony do dobrowolnego stosowania, opublikowany 26 stycznia 2023 roku i w trakcie rewizji. Profil poświęcony generatywnej AI, NIST-AI-600-1, został opublikowany 26 lipca 2024 roku[10].

Rzeczywiste przypadki

Wydobycie danych treningowych z GPT-2, grudzień 2020

Carlini i jego współautorzy atakują GPT-2, model wytrenowany na publicznych stronach internetowych. Wydobywają z niego setki sekwencji tekstu słowo w słowo: publiczne dane osobowe (imiona i nazwiska, numery telefonów, adresy e-mail), rozmowy IRC, kod i 128-bitowe UUID[6]. Atak działa nawet wtedy, gdy każda sekwencja występuje tylko w jednym dokumencie treningowym[6]. Ten przypadek dotyczy modelu językowego, a nie bazy wektorowej.

Źródła

  1. arXiv, „Efficient Estimation of Word Representations in Vector Space”, 16 stycznia 2013. https://arxiv.org/abs/1301.3781 (dostęp 10 listopada 2026)
  2. Microsoft, „Vector Search Overview - Azure AI Search”. https://learn.microsoft.com/en-us/azure/search/vector-search-overview (dostęp 10 listopada 2026)
  3. arXiv, „Distributed Representations of Words and Phrases and their Compositionality”, 16 października 2013. https://arxiv.org/abs/1310.4546 (dostęp 10 listopada 2026)
  4. arXiv, „BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”, 11 października 2018. https://arxiv.org/abs/1810.04805 (dostęp 10 listopada 2026)
  5. arXiv, „Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks”, 27 sierpnia 2019. https://arxiv.org/abs/1908.10084 (dostęp 10 listopada 2026)
  6. arXiv, „Extracting Training Data from Large Language Models”, 14 grudnia 2020. https://arxiv.org/abs/2012.07805 (dostęp 10 listopada 2026)
  7. arXiv, „Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”, 22 maja 2020. https://arxiv.org/abs/2005.11401 (dostęp 10 listopada 2026)
  8. OWASP, „OWASP Top 10 for Large Language Model Applications | OWASP Foundation”. https://owasp.org/projects/top-10-for-large-language-model-applications (dostęp 10 listopada 2026)
  9. arXiv, „Attention Is All You Need”, 12 czerwca 2017. https://arxiv.org/abs/1706.03762 (dostęp 10 listopada 2026)
  10. NIST, „AI Risk Management Framework”. https://www.nist.gov/itl/ai-risk-management-framework (dostęp 10 listopada 2026)