Cyberpediaod Brain

Umowa sprawdzana przez AI: co asystent wychwytuje, a co pomija

Asystent AI może wskazać w umowie klauzule ryzykowne, ale pomija klauzule i zmyśla. Zmierzone ograniczenia i kroki, które warto podjąć.

Na tej stronie
  1. 1W 30 sekund
  2. 2O co chodzi
  3. 3Pytania wprost
  4. 4Jak to działa
  5. 5Co robić
  6. 6Pułapki
  7. 7Źródła
  8. 8Zacytuj ten artykuł

W 30 sekund

Gdzie to się zdarza
Gdy prosi się asystenta AI o wskazanie w umowie klauzul ryzykownych[1].
Co może pójść nie tak
Modele odpowiadają no related clause, choć istotna klauzula jest obecna[1], a model może tworzyć twierdzenia prawne bez podstaw[2].
Odruch
Nie wpisywać informacji wrażliwych w zapytaniu do modelu publicznego[3] i zlecić sprawdzenie wyników osobie, gdy stawka jest wysoka[2].

O co chodzi

Badacze zmierzyli zdolność modeli językowych do wskazywania, klauzula po klauzuli, ryzyk prawnych w umowach handlowych. Ich test porównawczy, ContractEval, objął 4 modele własnościowe i 15 modeli open source[1]. Wnioskują, że większość modeli osiąga poziom porównywalny z poziomem początkujących asystentów prawnych[1].

Ten artykuł wyjaśnia pracownikowi, co pokazują te badania, co asystent AI może pominąć lub zmyślić oraz jakie kroki warto podjąć, zanim powierzy mu się dokument.

Pytania wprost

Czy asystent AI wychwytuje wszystkie klauzule umowy?

Badania ContractEval nie pozwalają tego stwierdzić. Autorzy użyli zbioru danych Contract Understanding Atticus Dataset (CUAD)[1]. Zauważają, że modele open source częściej generują odpowiedzi no related clause, nawet gdy istotne klauzule są obecne[1]. Widzą w tym możliwy objaw laziness w rozumowaniu lub niskiej pewności modelu przy wyodrębnianiu istotnej treści[1].

Modele własnościowe osiągają lepsze wyniki niż modele open source pod względem dokładności i skuteczności odpowiedzi, choć niektóre modele open source pozostają konkurencyjne pod pewnymi względami[1].

Czy tryb rozumowania sprawia, że analiza jest bardziej wiarygodna?

Niekoniecznie. Według ContractEval tryb rozumowania (thinking) poprawia skuteczność odpowiedzi, ale zmniejsza ich dokładność, prawdopodobnie dlatego, że nadmiernie komplikuje prostsze zadania[1].

Czy AI może zmyślić teksty lub orzeczenia sądowe?

Tak. OWASP podaje przykład ChatGPT, który sfabrykował fałszywe sprawy prawne, co miało istotne konsekwencje przed sądem[2]. OWASP nazywa to halucynacją: model generuje treść, która wydaje się trafna, ale jest zmyślona[2]. Raport techniczny Alexa Dantarta analizuje ten problem halucynacji modeli językowych stosowanych w prawie, jego przyczyny i objawy[4].

Dlaczego fałszywa odpowiedź wydaje się pewna siebie?

OWASP opisuje dezinformację ze strony modelu jako fałszywe lub wprowadzające w błąd informacje, które wyglądają wiarygodnie[2]. NCSC (Wielka Brytania) pisało w 2023 roku, że modele mają tę wadę, iż wydają się przekonujące, niezależnie od tego, czy mają rację[3]. Dodawało, że ich odpowiedzi mogą być tylko częściowo poprawne, zwłaszcza gdy temat jest specjalistyczny[3].

Czy można wkleić umowę do publicznego asystenta?

NCSC zaleca, by nie umieszczać informacji wrażliwych w zapytaniach kierowanych do modeli publicznych i nie przesyłać im zapytań, które byłyby problemem, gdyby stały się publiczne[3]. Opisuje też praktykę polegającą na kopiowaniu do pytania dużych ilości tekstu, a nawet całych dokumentów, aby dać kontekst, i nie zaleca jej w przypadku informacji wrażliwych w modelach publicznych[3].

Co się dzieje z tym, co wpisuję w asystencie?

Według NCSC zapytanie jest widoczne dla organizacji udostępniającej model, jest przechowywane i niemal na pewno zostanie kiedyś wykorzystane do rozwoju usługi lub modelu[3]. W chwili pisania NCSC wskazywało, że model nie dodawał automatycznie informacji z zapytań do swojego modelu dla innych użytkowników[3]. Zauważa też, że zapytania przechowywane online mogą zostać zhakowane, ujawnione lub, co bardziej prawdopodobne, przypadkowo upublicznione[3].

Czy istnieją ramy oceny tych ryzyk?

NIST opublikował 26 stycznia 2023 roku AI Risk Management Framework, do dobrowolnego stosowania[5]. 26 lipca 2024 roku opublikował NIST-AI-600-1, profil poświęcony generatywnej AI, który może pomóc organizacjom w rozpoznawaniu ryzyk właściwych dla tych narzędzi[5].

Jak to działa

Według NCSC model językowy został wytrenowany na dużej ilości tekstów i na tej podstawie tworzy model prawdopodobieństw oparty na relacjach między słowami[3]. OWASP wyjaśnia, że halucynacje pojawiają się, ponieważ model uzupełnia luki w danych treningowych statystycznymi prawidłowościami, nie rozumiejąc treści[2]. Może wtedy tworzyć odpowiedzi, które wydają się trafne, ale nie mają podstaw[2].

Częstym zabezpieczeniem jest Retrieval-Augmented Generation (RAG). OWASP je zaleca: polega na pobieraniu istotnych, zweryfikowanych informacji z zaufanych zewnętrznych baz podczas generowania odpowiedzi, co pomaga ograniczać halucynacje[2]. Przegląd literatury o RAG przedstawia ją jako połączenie modeli językowych z systemami wyszukiwania informacji, mające wzmocnić oparcie na faktach i złagodzić halucynacje[6]. Ten sam przegląd wymienia wśród trwałych trudności jakość wyszukiwania informacji i kwestie poufności[6]. Raport Alexa Dantarta również bada skuteczność RAG i przedstawia jej ograniczenia[4].

Co robić

  • Przed wklejeniem tekstu sprawdzić, co zawiera: NCSC zaleca, by nie umieszczać informacji wrażliwych w zapytaniach do modelu publicznego[3].
  • Przeczytać warunki korzystania i politykę prywatności narzędzia, zanim zada mu się pytania wrażliwe: NCSC wskazuje, że trzeba je dobrze rozumieć[3].
  • W przypadku narzędzia dostarczanego przez dostawcę usług w chmurze NCSC zachęca organizacje do zrozumienia, jak zarządza się ich danymi: czy badacze lub partnerzy dostawcy mają do nich dostęp i na jakich warunkach pracownik dostawcy może zobaczyć zapytania[3]?
  • Porównywać odpowiedzi z zaufanymi źródłami zewnętrznymi. OWASP zaleca zachęcanie do takiej weryfikacji oraz wprowadzenie nadzoru człowieka i sprawdzania faktów, zwłaszcza w przypadku informacji krytycznych lub wrażliwych[2].
  • Nie traktować odpowiedzi no related clause jako dowodu, że żadna klauzula nie ma zastosowania: ContractEval odnotował takie odpowiedzi, choć istotne klauzule były obecne[1].
  • Zachować kontrolę nad oceną. Raport Alexa Dantarta podkreśla nadzór człowieka, który uznaje za niezastąpiony, i proponuje AI „doradczą”, narzędzie wzmacniające osąd zawodowy zamiast go zastępować[4].

Pułapki

  • Nadmierne zaufanie. OWASP tak nazywa zbytnie ufanie wygenerowanej treści bez sprawdzenia jej poprawności, co nasila skutki fałszywej informacji, gdy trafia ona do decyzji[2].
  • Poziom początkującego. Autorzy ContractEval porównują większość modeli do początkujących asystentów prawnych i uważają, że modele open source wymagają ukierunkowanego dostrojenia (fine-tuning), aby były poprawne i skuteczne w sytuacjach prawnych o wysokiej stawce[1].
  • Tryb rozumowania wzięty za gwarancję jakości: w testach ContractEval zmniejsza on dokładność[1].
  • Odpowiedź, która brzmi trafnie. NCSC zauważa, że przekonujące odpowiedzi mogą być tylko częściowo poprawne[3].

Źródła

  1. arXiv, „ContractEval: Benchmarking LLMs for Clause-Level Legal Risk Identification in Commercial Contracts”, 5 sierpnia 2025. https://arxiv.org/abs/2508.03080 (dostęp 14 listopada 2026)
  2. OWASP, „LLM09:2025 Misinformation”, 10 kwietnia 2024. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (dostęp 14 listopada 2026)
  3. NCSC (Royaume-Uni), „ChatGPT and large language models: what's the risk?”, 14 marca 2023. https://www.ncsc.gov.uk/blog-post/chatgpt-and-large-language-models-whats-the-risk (dostęp 14 listopada 2026)
  4. arXiv, „Inteligencia Artificial jurídica y el desafío de la veracidad: análisis de alucinaciones, optimización de RAG y principios para una integración responsable”, 11 września 2025. https://arxiv.org/abs/2509.09467 (dostęp 14 listopada 2026)
  5. NIST, „AI Risk Management Framework”, 12 lipca 2021. https://www.nist.gov/itl/ai-risk-management-framework (dostęp 14 listopada 2026)
  6. arXiv, „A Systematic Review of Key Retrieval-Augmented Generation (RAG) Systems: Progress, Gaps, and Future Directions”, 25 lipca 2025. https://arxiv.org/abs/2507.18910 (dostęp 14 listopada 2026)