Cyberpediaod Brain

Prawnik i zmyślone wyroki ChatGPT

Asystent AI potrafi zmyślić wiarygodnie brzmiące orzeczenia sądowe. Dlaczego tak się dzieje i jak sprawdzić cytat, zanim trafi do dokumentu w pracy.

Na tej stronie
  1. 1W 30 sekund
  2. 2O co chodzi
  3. 3Pytania wprost
  4. 4Jak to działa
  5. 5Co robić
  6. 6Pułapki
  7. 7Źródła
  8. 8Zacytuj ten artykuł

W 30 sekund

Gdzie to się zdarza
W każdym tekście wygenerowanym przez asystenta AI, który zawiera cytat, liczbę lub orzeczenie sądowe.
Czego chce atakujący
Nikogo takiego nie ma. Ryzyko wynika z samego modelu, który może podać fałszywą odpowiedź bez udziału jakiegokolwiek atakującego[1].
Odruch
Nie przejmować żadnego cytatu, żadnej liczby ani odwołania podanego przez AI, dopóki nie odnajdzie się go w źródle pierwotnym, a przed jakimkolwiek użyciem w pracy zlecić przejrzenie przez drugą osobę.
Jeśli już się stało
Odnaleźć źródło każdego użytego elementu, poprawić lub usunąć to, czego nie da się zweryfikować, i powiadomić odbiorców dokumentu.

O co chodzi

Asystent AI może wygenerować orzeczenie sądowe, które nie istnieje. OWASP wspomina, że ChatGPT sfabrykował fikcyjne sprawy prawne, co miało poważne konsekwencje przed sądem[1]. To ryzyko dotyczy także pracownika, który przejmuje tekst asystenta AI bez zmian.

Źródła przywołane w tej karcie nie wymieniają sprawy Mata v. Avianca ani jej nie opisują. Karta nie podaje więc ani nazwisk osób, ani dat, ani sankcji: trzyma się tego, co wynika ze źródeł, i wyjaśnia, co pracownik może z tego wynieść dla własnej pracy.

Pytania wprost

Co wydarzyło się w sprawie Mata v. Avianca?

Wśród źródeł przywołanych w tej karcie tylko strona OWASP wspomina o takim przypadku, nie wymieniając sprawy z nazwy: ChatGPT jest tam opisany jako narzędzie, które sfabrykowało fikcyjne sprawy prawne, co spowodowało poważne trudności przed sądem[1]. Szczegółów postępowania, daty ani sankcji tam nie ma.

Dlaczego AI zmyśla odwołania?

Model językowy nie korzysta z bazy faktów. OWASP wyjaśnia, że uzupełnia luki w danych treningowych statystycznymi prawidłowościami, nie rozumiejąc treści: odpowiedź może wyglądać na trafną, choć nie ma żadnych podstaw[1]. NIST opisuje ten sam mechanizm: modele te generują wyniki przybliżające rozkład statystyczny danych treningowych, a duże modele językowe przewidują kolejne słowo w zdaniu[2].

Czy to wada, która wkrótce zostanie usunięta?

Źródła tego nie obiecują. Przegląd badań zauważa, że modele te mogą generować treści wiarygodne, lecz niefaktyczne, co rodzi poważne pytania o ich niezawodność w systemach wyszukiwania informacji[3]. Badanie teoretyczne twierdzi, że nie da się wyeliminować halucynacji w dużych modelach językowych i że będą one nieuchronnie halucynować, jeśli posłużą jako ogólne narzędzia do rozwiązywania problemów[4].

Jakie słownictwo warto znać?

NIST mówi o „konfabulacji” w odniesieniu do wytwarzania fałszywych treści przedstawianych z pewnością siebie i dodaje, że w języku potocznym używa się też słów „halucynacje” lub „fabrykacje”[2]. Oba słowa oznaczają to samo zjawisko.

Czy tekst napisany pewnym tonem jest bardziej wiarygodny?

Nie. Według NIST ryzyko pojawia się wtedy, gdy użytkownicy wierzą w fałszywą treść, często z powodu pewnego tonu odpowiedzi, a potem działają na tej podstawie[2].

Jak to działa

Model nie szuka prawdy, tylko tworzy najbardziej prawdopodobny ciąg słów. NIST zauważa, że takie przewidywanie statystyczne może dawać wyniki trafne i spójne, ale także nietrafne lub sprzeczne ze sobą. Zjawisko to uznaje za szczególnie widoczne przy pytaniach otwartych, wymagających długich odpowiedzi, oraz w dziedzinach, które wymagają wiedzy eksperckiej zależnej od kontekstu[2].

OWASP wyróżnia dwa powiązane problemy. Pierwszy to halucynacja, czyli sytuacja, gdy model generuje treść wyglądającą na prawdziwą, ale wymyśloną. Drugi to nadmierne zaufanie: użytkownicy zbyt ufają wygenerowanemu tekstowi i nie sprawdzają jego poprawności, przez co wprowadzają fałszywe dane do ważnych decyzji lub procesów[1].

Co robić

Poniższe praktyki odpowiadają środkom zalecanym przez OWASP i NIST, ujętym z punktu widzenia pracownika.

  • Każdy cytat, każdą liczbę i każde odwołanie wygenerowane przez AI należy traktować jako niezweryfikowane. OWASP zaleca, by użytkownicy porównywali wyniki z wiarygodnymi źródłami zewnętrznymi[1].
  • Element trzeba odnaleźć w źródle pierwotnym: w tekście orzeczenia, w dokumencie urzędowym, w badaniu. Odwołania, którego nie udało się odnaleźć, nie wolno używać.
  • Warto zestawić kilka wiarygodnych źródeł zewnętrznych, zamiast poprzestawać na jednym potwierdzeniu[1].
  • Przed każdym użyciem w pracy należy zachować weryfikację przez człowieka. OWASP zaleca nadzór człowieka i procesy sprawdzania faktów dla informacji krytycznych lub wrażliwych, z recenzentami przeszkolonymi tak, by nie polegali nadmiernie na wygenerowanej treści[1].
  • Czytelników należy informować, co powstało z użyciem AI. OWASP zaleca wyraźne oznaczanie wygenerowanych treści i informowanie użytkowników o granicach niezawodności[1].
  • W dziedzinach wrażliwych, takich jak zdrowie czy postępowania sądowe, trzeba zachować szczególną ostrożność: OWASP wymienia te konteksty w związku z twierdzeniami bez podstaw[1].

Pułapki

Pewny ton

Płynna i stanowcza odpowiedź niczego nie dowodzi. NIST zwraca uwagę, że konfabulacje mogą przybierać także postać zmyślonych rozumowań lub cytatów, które rzekomo uzasadniają odpowiedź, co może prowadzić do niesłusznego zaufania do systemu[2]. Bardzo szczegółowe odwołanie, z numerem, jurysdykcją i datą, nie świadczy więc o autentyczności.

Zaufanie, które narasta

NIST opisuje błąd automatyzacji: im bardziej technologia wydaje się niezawodna, tym łatwiej ludzie mogą zbyt szybko polegać na jej wynikach albo oceniać jej treści jako lepsze od treści z innych źródeł. Ten błąd zwiększa ryzyko konfabulacji[2]. Narzędzie, które dziesięć razy odpowiedziało dobrze, nie ma przez to racji po raz jedenasty.

Prosić AI, by sprawdziła samą siebie

Źródła przywołane w tej karcie nie badają bezpośrednio przypadku, w którym prosi się narzędzie o potwierdzenie własnej odpowiedzi. Podają jednak dane o niezawodności jego wyników. Badanie dotyczące ChatGPT stwierdza autosprzeczności, czyli dwa sprzeczne zdania w tym samym kontekście, w 17,7 % wygenerowanych zdań. Autorzy dodają, że duża część tych sprzeczności, 35,2 % w przypadku ChatGPT, nie może zostać zweryfikowana na podstawie tekstów dostępnych w sieci[5]. Ich detektor, oparty na poleceniach wydawanych ChatGPT, osiąga około 80 % wskaźnika F1[5]. W badaniach jest to przydatne, ale część błędów mimo to przechodzi. NIST zauważa też, że modele podają czasem kroki rozumowania nawet wtedy, gdy odpowiedź jest błędna[2].

Wiara, że problem zniknie

Badanie teoretyczne uznaje halucynację za nieuniknioną[4], a przegląd badań opisuje szczegółowo jej obecne ograniczenia[3]. Weryfikacja przez człowieka pozostaje więc konieczna.

Te same błędy poza salą sądową

OWASP przytacza inne przypadki: chatbot Air Canada podał podróżnym fałszywe informacje, a linię lotniczą skutecznie pozwano[1]. Wspomina też o asystentach programowania, którzy proponują nieistniejące lub niebezpieczne biblioteki kodu[1]. W scenariuszu opisanym przez OWASP atakujący wyszukują nazwy pakietów, które asystenci często zmyślają, publikują pod tymi nazwami prawdziwe pakiety złośliwe, a programiści je włączają do projektów[1].

Źródła

  1. OWASP, „LLM09:2025 Misinformation”. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (dostęp 3 listopada 2026)
  2. NIST, „Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile”. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (dostęp 3 listopada 2026)
  3. arXiv, „A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions”, 9 listopada 2023. https://arxiv.org/abs/2311.05232 (dostęp 3 listopada 2026)
  4. arXiv, „Hallucination is Inevitable: An Innate Limitation of Large Language Models”, 22 stycznia 2024. https://arxiv.org/abs/2401.11817 (dostęp 3 listopada 2026)
  5. arXiv, „Self-contradictory Hallucinations of Large Language Models: Evaluation, Detection and Mitigation”, 25 maja 2023. https://arxiv.org/abs/2305.15852 (dostęp 3 listopada 2026)