Всі отримали неправильний урок з позовів про галюцинації ШІ. Заголовок був "ШІ вигадує фальшиві справи." Справжня небезпека є тоншою і важчою для виявлення: ШІ вигадує фальшиві цитати всередині справ, які є абсолютно реальними.
Провал, про який усі знають: сфабриковані справи
У Mata v. Avianca (2023) адвокати подали федеральний бриф, посилаючись на кілька судових рішень, які просто не існували. Цитати були згенеровані ChatGPT, який створив правдоподібно виглядаючі назви справ, номери репортерів і цитати з повітря. Коли протилежна сторона та суд не змогли знайти ці справи, адвокатів покарали. Це стало канонічною застережною історією про генеративний ШІ в юридичній практиці — і це навчило професію перевіряти посилання.
Сфабрикований випадок, на щастя, легко виявити. Ви його шукаєте; його немає; ви його видаляєте. Один пошук викриває брехню.
Невдача, яку більшість людей не помічає: фальшиві цитати в реальних посиланнях
Тепер розгляньте більш підступний варіант. Справа є реальною. Цитата репортера є правильною. Суд, рік, сторони — все справжнє. Але речення, яке ШІ приписує цій думці, цитоване рішення, яке воно ставить в лапки, ніколи не було написане цим судом. Інструмент спирався на реальний документ, а потім вигадував мову, яку стверджує, що знайшов там.
Чому це гірше, ніж фальшивий випадок
- •Цитата є реальною, тому вона проходить рутинну перевірку цитат
- •Рецензент підтверджує, що справа існує, і переходить далі — цитата залишається неперевіреною.
- •Сфабрикована мова часто звучить як щось, що сказав би суд.
- •Воно може дожити до подання короткого викладу, думки або меморандуму для клієнта.
Це пастка "прив'язаних" або інструментів юридичного ШІ з підсиленням отримання (RAG). Прив'язка моделі до реальних джерел зменшує ймовірність повністю вигаданого випадку — але це не гарантує, що модель точно цитує те, що вона отримала. Вона все ще може перефразувати рішення словами, які суд ніколи не використовував, або вставити цитату з одного уривка в пропозицію, яку вона не підтримує.
Цей шаблон цитування в реальних посиланнях, як повідомляється, з'явився на практиці з комерційними, практичними асистентами досліджень. В одному з повідомлених прикладів, що стосується Westlaw CoCounsel компанії Thomson Reuters — обговорюваного у зв'язку зі справою, відомою як США проти Фарріса — інструмент, як стверджується, створив цитати, які не відповідали мові цитованого джерела, хоча основне посилання було справжнім. Ми представляємо це лише як повідомлену ілюстрацію: ми не підтверджували незалежно точну назву справи, посилання, суд, рік або рішення, і читачі повинні перевірити ці деталі, перш ніж покладатися на них. Однак шаблон добре задокументований — і саме шаблон, а не будь-яка окрема анекдота, повинен змінити те, як ви переглядаєте результати роботи ШІ.
Заземлення не є гарантією — докази
Це не є маргінальною проблемою. Дослідження 2024 року від Stanford RegLab та Інституту людиноцентричного штучного інтелекту (HAI) оцінило провідні спеціалізовані інструменти юридичного ШІ — ті, що явно рекламуються як такі, що ґрунтуються на фактах і зменшують галюцинації — і виявило, що вони все ще галюцинують на значній частині запитів.
Про ці цифри
У роботі Stanford RegLab / HAI (2024) повідомляється, що рівень галюцинацій для провідних інструментів юридичного ШІ становить приблизно 17–33%, залежно від інструмента та завдання. Ми наводимо діапазон, а не одне заголовне число, оскільки результати варіювалися в залежності від інструмента та типу запиту — для точних відсотків по кожному інструменту та методології зверніться до основної статті.
Висновок не в тому, що «ці інструменти погані». Суть у тому, що грунтування зменшує галюцинації, але не усуває їх, а залишок включає саме небезпечний варіант: впевнені, добре оформлені, перевірені цитати, які є неправильними.
Для ведення публічного реєстру реальних судових справ, які містили цитати, що виникли внаслідок галюцинацій штучного інтелекту, дослідник Дамієн Шарлотін підтримує широко цитовану базу даних, яка відстежує ці інциденти, коли вони потрапляють до судів. Це відмінний ресурс для того, щоб побачити, як часто — і на скільки далеко в процесі — ці помилки поширюються. Ми вказуємо на нього, а не дублюємо.
Чому самоперевірка на основі єдиної моделі зазнає невдачі
Інстинктивне рішення полягає в тому, щоб попросити той самий інструмент перевірити себе: "Ви впевнені, що ця цитата точна?" Це рідко допомагає і часто погіршує ситуацію.
- Модель, яка створила цитату, не має пам'яті про істину щодо думки — прохання "перевірити" просто повторює той самий процес зіставлення шаблонів, який призвів до помилки.
- Запити на кшталт "підтвердіть, що це дослівно" часто повертають впевнений так — іноді з новоствореною підтримуючою деталлю.
- Оцінка впевненості моделі не корелює з точністю цитування, тому вона не може самостійно позначати ризиковані.
Чому розбіжності між моделями це фіксує
Одиночна модель, що працює в офлайні, має один спосіб отримання інформації та один спосіб її цитування. Кілька незалежних моделей кожна отримує та цитує інформацію самостійно. Коли ви запитуєте кілька моделей одне й те саме питання, і одна з них надає цитату, яку інші не можуть відтворити — або яку інші явно оцінюють як таку, що не має підтримки — це розбіжність є тривожним сигналом.
Принцип незалежності, застосований до цитат
Якщо одна модель створює "суд вирішив X" у реальному випадку, інші моделі — які ґрунтуються на власному отриманні тієї ж думки — зазвичай не відтворюють цю точну сфабриковану мову. Цитата, яку може створити лише одна модель, а інші оцінюють погано, з'являється як твердження з низьким консенсусом. Ви перетворили невидиму помилку на видимий сигнал. Це вказує на цитату, яку варто перевірити з первинним джерелом — це більш надійний фільтр, а не доказ точності.
Чек-лист перевірки для юридичних досліджень з використанням штучного інтелекту
Чи використовуєте ви інструмент консенсусу, чи ні, ніколи не подавайте неперевірений вихід AI. Принаймні:
- Підтвердіть, що справа існує — але не зупиняйтеся на цьому; справжнє посилання — це місце, де ховаються небезпечні помилки
- Витягніть первинне джерело та прочитайте цитовану мову в контексті — перевірте кожну цитату дослівно на основі самої думки, а не на основі резюме ШІ.
- Перевірте, чи цитата підтримує пропозицію — реальна цитата може бути прикріплена до твердження, яке вона насправді не підтримує
- Перевірка з незалежними моделями — цитата, яку виробляє лише одна модель, є сигналом для розслідування, а не фактом для архівування
- Ніколи не сприймайте "підтверджено" як "перевірено" — RAG знижує шанси на винахід; це не знімає з вас обов'язок перевіряти
Консенсус між незалежними моделями підвищує вашу впевненість у тому, що цитата є справжньою. Це не доводить цього. Первинне джерело все ще залишається авторитетом — ШІ лише допомагає вам знайти його швидше і вказує, де моделі не погоджуються.
Часто задавані питання
Який юридичний провал у сфері штучного інтелекту більшість людей не помічає?
Не фальшивий випадок, про який всі знають, а сфабрикована цитата, захована всередині справжньої цитати — цитата існує і проходить перевірку, але процитовані слова ніколи не були в думці.
Чому самоперевірка з використанням однієї моделі не виявляє фальшиву цитату?
Оскільки цитата є реальною, самоперевірка підтверджує, що справа існує, і на цьому зупиняється; модель не має незалежного запису того, що насправді було сказано в думці.
Чому порівняння між моделями виявляє сфабриковані цитати?
Незалежні моделі, що базуються на різних витягах, рідко вигадують однакову цитату, тому їхня незгода виявляє фальсифікацію, яку підтвердив би єдиний модель.