Prawnik i zmyślone wyroki ChatGPT
Asystent AI potrafi zmyślić wiarygodnie brzmiące orzeczenia sądowe. Dlaczego tak się dzieje i jak sprawdzić cytat, zanim trafi do dokumentu w pracy.
Na tej stronie
W 30 sekund
- Gdzie to się zdarza
- W każdym tekście wygenerowanym przez asystenta AI, który zawiera cytat, liczbę lub orzeczenie sądowe.
- Czego chce atakujący
- Nikogo takiego nie ma. Ryzyko wynika z samego modelu, który może podać fałszywą odpowiedź bez udziału jakiegokolwiek atakującego[1].
- Odruch
- Nie przejmować żadnego cytatu, żadnej liczby ani odwołania podanego przez AI, dopóki nie odnajdzie się go w źródle pierwotnym, a przed jakimkolwiek użyciem w pracy zlecić przejrzenie przez drugą osobę.
- Jeśli już się stało
- Odnaleźć źródło każdego użytego elementu, poprawić lub usunąć to, czego nie da się zweryfikować, i powiadomić odbiorców dokumentu.
O co chodzi
Asystent AI może wygenerować orzeczenie sądowe, które nie istnieje. OWASP wspomina, że ChatGPT sfabrykował fikcyjne sprawy prawne, co miało poważne konsekwencje przed sądem[1]. To ryzyko dotyczy także pracownika, który przejmuje tekst asystenta AI bez zmian.
Źródła przywołane w tej karcie nie wymieniają sprawy Mata v. Avianca ani jej nie opisują. Karta nie podaje więc ani nazwisk osób, ani dat, ani sankcji: trzyma się tego, co wynika ze źródeł, i wyjaśnia, co pracownik może z tego wynieść dla własnej pracy.
Pytania wprost
Co wydarzyło się w sprawie Mata v. Avianca?
Wśród źródeł przywołanych w tej karcie tylko strona OWASP wspomina o takim przypadku, nie wymieniając sprawy z nazwy: ChatGPT jest tam opisany jako narzędzie, które sfabrykowało fikcyjne sprawy prawne, co spowodowało poważne trudności przed sądem[1]. Szczegółów postępowania, daty ani sankcji tam nie ma.
Dlaczego AI zmyśla odwołania?
Model językowy nie korzysta z bazy faktów. OWASP wyjaśnia, że uzupełnia luki w danych treningowych statystycznymi prawidłowościami, nie rozumiejąc treści: odpowiedź może wyglądać na trafną, choć nie ma żadnych podstaw[1]. NIST opisuje ten sam mechanizm: modele te generują wyniki przybliżające rozkład statystyczny danych treningowych, a duże modele językowe przewidują kolejne słowo w zdaniu[2].
Czy to wada, która wkrótce zostanie usunięta?
Źródła tego nie obiecują. Przegląd badań zauważa, że modele te mogą generować treści wiarygodne, lecz niefaktyczne, co rodzi poważne pytania o ich niezawodność w systemach wyszukiwania informacji[3]. Badanie teoretyczne twierdzi, że nie da się wyeliminować halucynacji w dużych modelach językowych i że będą one nieuchronnie halucynować, jeśli posłużą jako ogólne narzędzia do rozwiązywania problemów[4].
Jakie słownictwo warto znać?
NIST mówi o „konfabulacji” w odniesieniu do wytwarzania fałszywych treści przedstawianych z pewnością siebie i dodaje, że w języku potocznym używa się też słów „halucynacje” lub „fabrykacje”[2]. Oba słowa oznaczają to samo zjawisko.
Czy tekst napisany pewnym tonem jest bardziej wiarygodny?
Nie. Według NIST ryzyko pojawia się wtedy, gdy użytkownicy wierzą w fałszywą treść, często z powodu pewnego tonu odpowiedzi, a potem działają na tej podstawie[2].
Jak to działa
Model nie szuka prawdy, tylko tworzy najbardziej prawdopodobny ciąg słów. NIST zauważa, że takie przewidywanie statystyczne może dawać wyniki trafne i spójne, ale także nietrafne lub sprzeczne ze sobą. Zjawisko to uznaje za szczególnie widoczne przy pytaniach otwartych, wymagających długich odpowiedzi, oraz w dziedzinach, które wymagają wiedzy eksperckiej zależnej od kontekstu[2].
OWASP wyróżnia dwa powiązane problemy. Pierwszy to halucynacja, czyli sytuacja, gdy model generuje treść wyglądającą na prawdziwą, ale wymyśloną. Drugi to nadmierne zaufanie: użytkownicy zbyt ufają wygenerowanemu tekstowi i nie sprawdzają jego poprawności, przez co wprowadzają fałszywe dane do ważnych decyzji lub procesów[1].
Co robić
Poniższe praktyki odpowiadają środkom zalecanym przez OWASP i NIST, ujętym z punktu widzenia pracownika.
- Każdy cytat, każdą liczbę i każde odwołanie wygenerowane przez AI należy traktować jako niezweryfikowane. OWASP zaleca, by użytkownicy porównywali wyniki z wiarygodnymi źródłami zewnętrznymi[1].
- Element trzeba odnaleźć w źródle pierwotnym: w tekście orzeczenia, w dokumencie urzędowym, w badaniu. Odwołania, którego nie udało się odnaleźć, nie wolno używać.
- Warto zestawić kilka wiarygodnych źródeł zewnętrznych, zamiast poprzestawać na jednym potwierdzeniu[1].
- Przed każdym użyciem w pracy należy zachować weryfikację przez człowieka. OWASP zaleca nadzór człowieka i procesy sprawdzania faktów dla informacji krytycznych lub wrażliwych, z recenzentami przeszkolonymi tak, by nie polegali nadmiernie na wygenerowanej treści[1].
- Czytelników należy informować, co powstało z użyciem AI. OWASP zaleca wyraźne oznaczanie wygenerowanych treści i informowanie użytkowników o granicach niezawodności[1].
- W dziedzinach wrażliwych, takich jak zdrowie czy postępowania sądowe, trzeba zachować szczególną ostrożność: OWASP wymienia te konteksty w związku z twierdzeniami bez podstaw[1].
Pułapki
Pewny ton
Płynna i stanowcza odpowiedź niczego nie dowodzi. NIST zwraca uwagę, że konfabulacje mogą przybierać także postać zmyślonych rozumowań lub cytatów, które rzekomo uzasadniają odpowiedź, co może prowadzić do niesłusznego zaufania do systemu[2]. Bardzo szczegółowe odwołanie, z numerem, jurysdykcją i datą, nie świadczy więc o autentyczności.
Zaufanie, które narasta
NIST opisuje błąd automatyzacji: im bardziej technologia wydaje się niezawodna, tym łatwiej ludzie mogą zbyt szybko polegać na jej wynikach albo oceniać jej treści jako lepsze od treści z innych źródeł. Ten błąd zwiększa ryzyko konfabulacji[2]. Narzędzie, które dziesięć razy odpowiedziało dobrze, nie ma przez to racji po raz jedenasty.
Prosić AI, by sprawdziła samą siebie
Źródła przywołane w tej karcie nie badają bezpośrednio przypadku, w którym prosi się narzędzie o potwierdzenie własnej odpowiedzi. Podają jednak dane o niezawodności jego wyników. Badanie dotyczące ChatGPT stwierdza autosprzeczności, czyli dwa sprzeczne zdania w tym samym kontekście, w 17,7 % wygenerowanych zdań. Autorzy dodają, że duża część tych sprzeczności, 35,2 % w przypadku ChatGPT, nie może zostać zweryfikowana na podstawie tekstów dostępnych w sieci[5]. Ich detektor, oparty na poleceniach wydawanych ChatGPT, osiąga około 80 % wskaźnika F1[5]. W badaniach jest to przydatne, ale część błędów mimo to przechodzi. NIST zauważa też, że modele podają czasem kroki rozumowania nawet wtedy, gdy odpowiedź jest błędna[2].
Wiara, że problem zniknie
Badanie teoretyczne uznaje halucynację za nieuniknioną[4], a przegląd badań opisuje szczegółowo jej obecne ograniczenia[3]. Weryfikacja przez człowieka pozostaje więc konieczna.
Te same błędy poza salą sądową
OWASP przytacza inne przypadki: chatbot Air Canada podał podróżnym fałszywe informacje, a linię lotniczą skutecznie pozwano[1]. Wspomina też o asystentach programowania, którzy proponują nieistniejące lub niebezpieczne biblioteki kodu[1]. W scenariuszu opisanym przez OWASP atakujący wyszukują nazwy pakietów, które asystenci często zmyślają, publikują pod tymi nazwami prawdziwe pakiety złośliwe, a programiści je włączają do projektów[1].
Źródła
- OWASP, „LLM09:2025 Misinformation”. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (dostęp 3 listopada 2026)
- NIST, „Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile”. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (dostęp 3 listopada 2026)
- arXiv, „A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions”, 9 listopada 2023. https://arxiv.org/abs/2311.05232 (dostęp 3 listopada 2026)
- arXiv, „Hallucination is Inevitable: An Innate Limitation of Large Language Models”, 22 stycznia 2024. https://arxiv.org/abs/2401.11817 (dostęp 3 listopada 2026)
- arXiv, „Self-contradictory Hallucinations of Large Language Models: Evaluation, Detection and Mitigation”, 25 maja 2023. https://arxiv.org/abs/2305.15852 (dostęp 3 listopada 2026)
Zacytuj ten artykuł
Brain, „Prawnik i zmyślone wyroki ChatGPT”, Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp272_pl_2026,
author = {Brain},
title = {Prawnik i zmyślone wyroki ChatGPT},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/pl/articles/prawnik-fikcyjne-wyroki-chatgpt-mata-avianca/},
note = {CC BY 4.0}
}