Все извлекли неправильный урок из исков о галлюцинациях ИИ. Заголовок был "ИИ выдумывает фальшивые дела." Реальная опасность более тонка и труднее уловима: ИИ выдумывает фальшивые цитаты внутри дел, которые совершенно реальны.
Провал, о котором все знают: сфабрикованные дела
В Mata v. Avianca (2023) адвокаты подали федеральный бриф, ссылаясь на несколько судебных решений, которые просто не существовали. Цитаты были сгенерированы ChatGPT, который создал правдоподобно выглядящие названия дел, номера репортеров и цитаты из ниоткуда. Когда противоположная сторона и суд не смогли найти эти дела, адвокаты были подвергнуты санкциям. Это стало канонической предостерегающей историей о генеративном ИИ в юридической практике — и это научило профессию проверять ссылки.
Сфабрикованный случай, к счастью, легко поймать. Вы его ищете; его нет; вы его удаляете. Одного запроса достаточно, чтобы разоблачить ложь.
Неудача, которую большинство людей не замечает: поддельные цитаты в настоящих ссылках
Теперь рассмотрим более коварный вариант. Дело реальное. Цитата из репортажа правильная. Суд, год, стороны — все подлинные. Но предложение, которое ИИ приписывает этому мнению, цитируемое решение, которое он ставит в кавычки, никогда не было написано этим судом. Инструмент основывал свой ответ на реальном документе, а затем сфабриковал язык, который утверждает, что нашел там.
Почему это хуже, чем фальшивое дело
- •Цитата реальна, поэтому она проходит стандартную проверку цитат
- •Рецензент подтверждает существование дела и переходит к следующему — цитата остается непроверенной.
- •Сфабрикованный язык часто звучит как что-то, что могло бы сказать суд.
- •Он может дойти до поданного брифинга, мнения или клиентской записки.
Это ловушка "привязанных" или инструментов юридического ИИ с увеличением извлечения (RAG). Привязка модели к реальным исходным документам снижает вероятность полностью вымышленного дела — но это не гарантирует, что модель точно цитирует то, что она извлекла. Она все еще может перефразировать решение словами, которые суд никогда не использовал, или вставить цитату из одного отрывка в утверждение, которое она не поддерживает.
Этот шаблон "цитаты в реальных цитатах" якобы появился на практике с коммерческими, основанными на фактических данных помощниками исследователей. В одном из сообщенных примеров, касающемся Westlaw CoCounsel от Thomson Reuters — обсуждаемом в связи с делом, известным как США против Фарриса — инструмент, как сообщается, произвел цитаты, которые не соответствовали языку указанного источника, хотя исходная ссылка была подлинной. Мы представляем это только как сообщенное иллюстрацию: мы не подтвердили независимо точное название дела, ссылку, суд, год или решение, и читатели должны проверить эти детали, прежде чем полагаться на них. Однако шаблон хорошо задокументирован — и именно этот шаблон, а не какая-либо отдельная анекдота, должен изменить то, как вы проверяете выводы ИИ.
Заземление не является гарантией — доказательства
Это не маргинальная проблема. Исследование 2024 года от Stanford RegLab и Института человекоцентричного ИИ (HAI) оценило ведущие специализированные инструменты юридического ИИ — те, которые явно рекламируются как основанные на фактах и снижающие вероятность галлюцинаций — и обнаружило, что они все равно генерируют галлюцинации на значительной доле запросов.
Об этих цифрах
Работа Stanford RegLab / HAI (2024) сообщила о частоте галлюцинаций для ведущих инструментов юридического ИИ в диапазоне примерно 17–33%, в зависимости от инструмента и задачи. Мы указываем диапазон, а не одно общее число, потому что результаты варьировались в зависимости от инструмента и типа запроса — для точных процентов по каждому инструменту и методологии обратитесь к основному документу.
Вывод не в том, что «эти инструменты плохи». Суть в том, что привязка снижает количество галлюцинаций, но не устраняет их полностью, и остатки включают именно опасный вариант: уверенные, хорошо оформленные, проходящие проверку цитаты, которые неверны.
Для ведения публичного реестра реальных судебных дел, в которых были задействованы цитаты, созданные ИИ, исследователь Дамьен Шарлотен ведет широко цитируемую базу данных, отслеживающую эти инциденты по мере их поступления в суды. Это отличный ресурс для того, чтобы увидеть, как часто — и на каком этапе процесса — происходят эти ошибки. Мы ссылаемся на него, а не дублируем.
Почему неудача самопроверки с использованием одной модели
Инстинктивное решение — попросить тот же инструмент проверить себя: "Вы уверены, что эта цитата точна?" Это редко помогает и часто усугубляет ситуацию.
- Модель, которая создала цитату, не имеет достоверной памяти о мнении — просьба "проверить" просто повторяет ту же схему сопоставления, которая привела к ошибке.
- Запросы вроде "подтвердите, что это дословно" часто возвращают уверенное да — иногда с только что вымышленной поддерживающей деталью.
- Уровень уверенности модели не коррелирует с точностью цитирования, поэтому она не может самостоятельно отмечать рискованные.
Почему несоответствие между моделями это ловит
Одинокая заземленная модель имеет одно извлечение и один способ его цитирования. Несколько независимых моделей каждое извлекают и цитируют самостоятельно. Когда вы задаете несколько моделей один и тот же вопрос, и одна из них производит цитату, которую другие не могут воспроизвести — или которую другие явно оценивают как неподдерживаемую — это несогласие является тревожным сигналом.
Принцип независимости, применяемый к цитатам
Если одна модель создает "суд постановил X" в реальном деле, другие модели — основанные на своем собственном извлечении того же мнения — обычно не воспроизводят этот точно сфабрикованный язык. Цитата, которую может произвести только одна модель, и которую другие оценивают плохо, появляется как утверждение с низким уровнем согласия. Вы превратили невидимую ошибку в видимый флаг. Это сигнализирует о том, что цитату стоит проверить по первоисточнику — это более надежный фильтр, а не доказательство точности.
Контрольный список для проверки юридических исследований с использованием ИИ
Независимо от того, используете ли вы инструмент консенсуса, никогда не подавайте непроверенный вывод ИИ. По крайней мере:
- Подтвердите, что дело существует — но не останавливайтесь на этом; настоящая цитата — это место, где скрываются опасные ошибки
- Извлеките первоисточник и прочитайте цитируемый текст в контексте — проверьте каждую цитату дословно по сравнению с самим мнением, а не с резюме ИИ.
- Проверьте, что цитата поддерживает утверждение — реальная цитата может быть прикреплена к утверждению, которое она на самом деле не поддерживает.
- Проверка с независимыми моделями — цитата, которую производит только одна модель, является сигналом для расследования, а не фактом для архивирования.
- Никогда не рассматривайте "обоснованное" как "подтвержденное" — RAG снижает шансы на изобретение; это не освобождает вас от обязанности проверять
Согласие между независимыми моделями повышает вашу уверенность в том, что цитата является подлинной. Это не доказывает её подлинность. Основной источник по-прежнему является авторитетом — ИИ лишь помогает вам быстрее его найти и указывает, где модели расходятся во мнениях.
Часто задаваемые вопросы
Какой юридический провал в области ИИ большинство людей не замечает?
Не тот фальшивый случай, о котором все знают, а сфабрикованная цитата, вставленная в настоящую ссылку — ссылка существует и проходит проверку, но процитированные слова никогда не были в мнении.
Почему самопроверка с использованием одной модели не обнаруживает поддельную цитату?
Поскольку цитата реальна, самопроверка подтверждает существование дела и на этом останавливается; у модели нет независимой записи о том, что на самом деле сказала мнение.
Почему сравнение между моделями выявляет поддельные цитаты?
Независимые модели, основанные на различных извлечениях, редко создают одну и ту же цитату, поэтому их несогласие выявляет подделку, которую подтвердила бы одна модель.