$ cat ai-legal-hallucinations.mdx

Prawnicy AI zmyślili sprawy sądowe

30 kwi 2026 · #ai #chatgpt #prawo #hallucinations #sullivan-cromwell #ryzyko

Prawnicy AI zmyślili sprawy sądowe

Jedna z największych kancelarii prawnych w USA - Sullivan & Cromwell - oddała sądowi dokument z wymyślonymi sprawami sądowymi. Nie sami wymyślili. AI im to zrobiło. Sędzia sprawdził. Wybuchło.

AI hallucination legal document Sullivan Cromwell

Jeśli ktoś jeszcze ma złudzenia że AI “jest już dobre”, ten news może skończyć tę iluzję.

Sullivan & Cromwell - jedna z najstarszych, najdroższych i najbardziej prestiżowych kancelarii prawnych w Nowym Jorku. Pracują tam prawnicy po Harvardzie, Yale, Columbii. Stawka za godzinę - tysiąc pięćset dolarów. Tysiąc pięćset. Za godzinę. Za jednego prawnika.

Ta firma oddała sądowi dokument z precedensami które nie istnieją. Wymyślonymi przez AI. W 2026 roku. Po pięciu latach dyskusji o “halucynacjach AI” w branży.

Co się dokładnie stało

Młody prawnik - kilka lat po studiach prawnych, pracujący na młodszym stanowisku w firmie - otrzymał zadanie przygotowania dokumentu do sądu. Musiał znaleźć precedensy prawne pasujące do konkretnej sprawy.

Zamiast spędzić dziesięć godzin w bazie Westlaw albo LexisNexis (profesjonalne bazy prawne), użył ChatGPT. Poprosił AI o znalezienie precedensów. AI “znalazło” je natychmiast - z pełnymi cytatami, nazwami spraw, numerami sygnaturowymi, fragmentami wyroków.

Wszystko wyglądało wiarygodnie. Problem: żaden z tych precedensów nie istniał. AI po prostu wygenerowało tekst który brzmiał jak prawdziwe precedensy.

Dokument poszedł do sądu. Sędzia - rutynowo - postanowił sprawdzić cytowane precedensy. Okazało się że ani jeden z nich nie istnieje. Sędzia ukarał kancelarię. Informacja wyszła publicznie.

Dlaczego AI “zmyśla”

Modele językowe typu ChatGPT, Claude, Gemini nie są bazami faktów. Są modelami prawdopodobieństwa tekstu. Uczą się jakie słowa zwykle po sobie następują i generują tekst który “brzmi jak tekst o danym temacie”.

Jeśli trenujemy AI na milionach dokumentów prawnych, to AI uczy się formy - jak wygląda powołanie na precedens, jaki jest format sygnatury, jakie są typowe sformułowania. Ale nie uczy się które konkretne precedensy istnieją. Jeśli zapytasz “daj precedens w sprawie X” - AI wygeneruje coś co wygląda jak precedens. Nie coś co jest precedensem.

To jest znane jako “AI hallucination”. Problem znany od 2022 roku. Wszyscy producenci AI ostrzegają. Wszyscy użytkownicy profesjonalni - są pouczeni. A mimo to - największa kancelaria w NY wpadła.

To nie jest odosobniony przypadek

Od 2023 roku były już kilkanaście podobnych przypadków - prawnicy z mniejszych kancelarii oddawali dokumenty z AI-hallucinations. Za każdym razem: sędzia sprawdził, wybuchło, kara.

Ale różnica jest taka że Sullivan & Cromwell to top-5 kancelarii w USA. Ci ludzie mają procedury. Regulations. QA. Wewnętrzne checki. A mimo to - AI zmyślił, a procedura nie złapała.

Czyli problem nie jest już “nowy prawnik nie wiedział”. Problem jest “cała branża nie umie zintegrować AI bezpiecznie”.

Moja perspektywa

Moim zdaniem to dopiero początek.

Za rok: pierwszy lekarz postawi diagnozę na podstawie AI. Zmyślone leki. Realne skutki. Prawdopodobnie śmierć pacjenta albo ciężkie powikłania.

Za dwa lata: pierwszy inżynier budowlany obliczy nośność konstrukcji na podstawie AI. Zmyślone wzory. Budynek się zawali.

Za trzy lata: pierwszy polityk w kampanii powoła się na “badanie” wymyślone przez AI. Wygra wybory. Będzie prowadził politykę w oparciu o halucynacje.

AI zmyśla, a ludzie mu ufają. Bo brzmi inteligentnie. Bo jest szybkie. Bo jest tanie.

Moja rada: używaj AI jako asystenta, nie jako autorytetu. Każde twierdzenie weryfikuj. Jeśli AI ci powie że X, sprawdź czy X istnieje. Zawsze. Nawet jeśli brzmi inteligentnie.

Źródła

$ cd ../