С точки зрения судебной практики искусственный интеллект — явление новое, малопонятное и слабо изученное. В публицистической статье Страшилки и ужасы ИИ я провёл параллели между искусственным интеллектом как социальным явлением сейчас — и электричеством веком раньше. Эти параллели становятся всё более явными: всё так же журналисты озвучивают всё те же страхи, описывая их теми же самыми словами. Насколько опасно в действительности использование средств искусственного интеллекта в рамках судебно-правовой системы? Попробуем разобраться.

В статье «ИИ в криминалистике: цена человеческих ошибок» автор Brett Shavers пишет:

«Промышленные роботы уже унесли жизни десятков работников — люди уходили домой в чёрных мешках. Но нас это не останавливает; мы просто воспринимаем это как неизбежный этап. Логика такая: кто-то должен умереть первым, а систему мы постепенно доработаем.»

Увидев эту цитату, я сразу вспомнил «страшилки», которые публиковали газеты на ранней стадии появления… электричества. Для сравнения — цитата:

«В кон­це XIX века лон­дон­ское общес­тво пот­рясло скан­даль­ное про­исшес­твие: слу­га потерял соз­нание пос­ле при­кос­новения к элек­три­чес­кому про­вод­нику. В дру­гом слу­чае слу­гу уби­ло при­кос­новение к про­вод­нику, пита­юще­му новомод­ную лам­пу Эди­сона, которую жес­токий хозя­ин уста­новил на мес­те при­выч­ного газово­го све­тиль­ника. А в 1881 году вышел сбор­ник, содер­жащий десят­ки опи­саний смер­тель­ных пораже­ний низ­коволь­тным током: в теат­рах, домах англий­ской зна­ти или на яхтах. Элек­три­чес­тво уби­вает!»

Не правда ли, очень похоже? Переоценивать степень опасности искусственного интеллекта не стоит, но нельзя и недооценивать её. Однако в отличие от Brett Shavers, который рассматривает гипотетические сценарии «а что будет, если», мы обратим внимание на задокументированные и юридически оформленные случаи.

США, май 2025: вымышленные прецеденты и цитаты

В мае 2025 года федеральный судья в Калифорнии оштрафовал две адвокатские конторы на 31 тысячу долларов: юристы подали документы с вымышленными прецедентами и цитатами, сгенерированными искусственным интеллектом. Черновик, подготовленный низовым работником в Google Gemini и доработанный в специализированном приложении CoCounsel от Westlaw, прошёл по цепочке и дошёл до суда; ни один юрист даже не подумал проверить подлинность придуманных ИИ цитат. Судья Майкл Уилнер лично проверил отсылки — и не нашёл ни одной.

На фоне доходов и зарплат американских юристов штраф выглядит символическим: юридическая страховка легко покроет сумму, а виновные сохранили работу и лицензии. Сигнал очевиден — проверка источников становится роскошью, которой можно пренебречь ради экономии времени.

Что же случилось на самом деле? Нейросеть — всегда «чёрный ящик», генерирующий управляемые галлюцинации. Термин «галлюцинации» в данном случае не несёт негативного оттенка. В контексте больших языковых моделей, являющихся по сути простейшими авторегрессивными вероятностными предикторами, «галлюцинации» — устоявшийся термин, описывающий побочный эффект вероятностного предсказания текста при отсутствии достаточных или точных данных. Публично доступные нейросети вроде ChatGPT, Claude или Gemini не имеют доступа к проверенным базам судебных решений — то самое «отсутствие достаточных данных», которое и приводит к описанному эффекту. Отмечу, что у американских юристов есть профессиональные системы (Westlaw, LexisNexis, Bloomberg Law и другие), которые помогают отслеживать актуальность прецедентов, и они также используют специализированные модели искусственного интеллекта, которые хоть и с меньшей вероятностью, но всё же подвержены галлюцинациям.

Результат? Соблазн «срезать углы» слишком велик, и число исков с фальшивыми ссылками и придуманными прецедентами, вероятно, будет расти. В качестве возможных последствий возникает риск появления цепочек прецедентов, когда на основе одного выдуманного прецедента в результате решения судьи возникает другой, настоящий, на основе которого могут приниматься решения в будущем.

Как с этим бороться? С одной стороны, требования юридической экспертизы никто не отменял; использование фальшивых, недостоверных данных лицензированными юристами преследуется по закону. С другой — соблазн всё-таки слишком велик, а победитель в соревновании жадности и здравого смысла известен заранее.

В вебинаре The Great AI Debate с ведущими Heather Charpentier и Brandon Epstein рассказывалось о том, как работают большие языковые модели и почему на результат их работы нельзя полагаться. В то же время эксперты работают над методами интерпретации и повышения достоверности предсказательных моделей. Так, в проекте Hallucination Risk Calculator & Prompt Re-engineering Toolkit (GitHub). Этот и подобные ему проекты предлагают способ «страховки» от ошибок ИИ: они не модифицируют саму модель, но верифицируют достоверность её ответов, проверяя не сами факты, но то, насколько сама модель «уверена» в результате, и отмечают моменты, в которых модель основывалась на непроверенных или недостаточных данных. По сути, это инструмент, который помогает понять, когда нейросеть была уверена в своём ответе, а когда выдала «отписку», лишь бы написать хоть что-то. Для юристов и работников судебной системы это критически важно; работники всё равно будут «срезать углы», используя языковые модели для написания текстов, и возможность заранее видеть сомнительные участки текста и планировать ручную проверку.

На сегодняшний день этот случай — один из немногих, получивших широкую огласку именно из-за использования искусственного интеллекта. Однако «восстание умных станков» этим не ограничивается: работники правовых систем разных стран то и дело пытались использовать «чёрные ящики» для облегчения своей работы. И вот что из этого получилось.

США, май 2016: алгоритм оценки риска рецидива COMPAS

«Модель сказала — потенциальный рецидивист; значит, будет сидеть долго. Что значит «докажите»? Компьютер сказал, этого достаточно!»

Интересное исследование (скорее, даже расследование) работы алгоритма оценки риска рецидива Correctional Offender Management Profiling for Alternative Sanctions (COMPAS), который использовался судами для назначения наказания, провели журналисты ProPublica в 2016 году. Исследование выявило серьёзные искажения по расовому признаку: афроамериканцы заметно чаще признавались системой в качестве персон с «высоким риском» рецидива на основе исключительно расового признака, зачастую ошибочно (ложные положительные предсказания) по сравнению с лицами белой расы. Стоило изменить единственное поле (расу), оставив основное содержимое файла без изменений, как результат предсказания системы менялся. Помимо очевидного, огромной проблемой для судебной системы стала непрозрачность алгоритма, которая отняла у защиты саму возможность оспорить результат предсказания.

Важно отметить, что COMPAS является инструментом статистической оценки риска, а не искусственным интеллектом; он не адаптируется и не обучается на новых данных. Тем не менее, случай весьма показателен в плане использования результатов работы алгоритмического «чёрного ящика» для вынесения приговоров. Он интересен ещё и тем, что, несмотря на критику, система продолжает использоваться судами в ряде штатов, включая штат Нью-Йорк, Висконсин, Калифорния, а также в округе Бровард, Флорида.

Нидерланды, февраль 2020: система SiRI

Для Европы знаковым стало дело, в котором Гаагский окружной суд рассмотрел (решение суда в PDF) использование системы SiRI (Systeem Risico Indicatie) правительством Нидерландов для выявления рисков мошенничества в сфере социального обеспечения.

Справка: SyRI — это статистическая система правил для оценки риска мошенничества, которая сопоставляет данные из разных источников. Система SyRi — чисто алгоритмическая; она не основана на технологиях искусственного интеллекта, не обучается и не генерирует прогнозы. В отличие от LLM, SyRI не «галлюцинирует», а риск ошибок и нарушений в области защиты прав человека возникал из-за её непрозрачности и невозможности оспаривать её решения.

В этом решении суд признал использование системы незаконным, установив, что законодательство, регулирующее применение SyRI, нарушает статью 8 Европейской конвенции о защите прав человека, которая гарантирует право на уважение частной жизни. В частности, суд отметил недостаточную прозрачность и верифицируемость работы модели, отсутствие возможности для граждан оспаривать решения, основанные на алгоритмических оценках, а также отсутствие адекватных гарантий защиты личных данных. В результате суд постановил, что законодательство, регулирующее использование SyRI, не имеет обязательной юридической силы и должно быть отменено.

Этот случай установил прецедент в области применения «чёрных ящиков» (неважно, чисто алгоритмических или вероятностных, основанных на моделях искусственного интеллекта) в государственных и судебных процессах. Решение суда подчеркивает, что использование любых алгоритмических технологий или технологий искусственного интеллекта в государственных учреждениях не отменяет необходимости обеспечения прозрачности, подотчетности и соблюдения прав человека.

ЕСПЧ, июль 2024: видеонаблюдение с распознаванием лиц «инвазивно», но не обязательно нарушает права человека

А что насчёт видеонаблюдения с распознаванием лиц? Отношение к этой технологии в Европе двоякое: очень осторожное, но в особых случаях и под жёстким судебным контролем может быть допустимым. Так, в решении по делу Glukhin v. Russia Европейский суд по правам человека принял знаковое решение, в котором был определён статус технологии распознавания лиц в отношении требований ст. 8 Конвенции о защите прав человека и основополагающих свобод (с сентября 2022 года Россия более не является стороной данной конвенции). В своём решении суд указал, что мониторинг действий и перемещений людей в общественных местах посредством видеокамер сам по себе не является формой вмешательства в частную жизнь. Однако дьявол кроется в деталях, и нарушения в области защиты частной жизни возникают, как только появляется систематическая или постоянная запись таких данных, в частности — идентификация лиц, сбор и хранение таких данных.

Локальные законодательства стран ЕС различаются в деталях, но в целом соответствуют решению суда. Так, в Германии использование камер с распознаванием лиц строго ограничено: любая видеосъёмка в общественных местах регулируется Федеральным законом о защите данных (BDSG) и Законом о полиции, а применение технологий распознавания лиц допускается лишь в исключительных случаях, связанных с расследованием тяжких преступлений или предотвращением серьёзных угроз общественной безопасности. Полностью запрещён постоянный автоматический мониторинг с использованием распознавания лиц в общественных местах: он считается несоразмерным и нарушающим Основной закон (статью 2 о праве на личную свободу и статью 10 о неприкосновенности частной жизни). В то же время точечное применение технологии под жёстким судебным контролем является допустимым.

В других странах ЕС законодательства различаются, но тенденция схожа: во Франции и Бельгии массовое использование распознавания лиц в реальном времени в общественных местах прямо запрещено, а в Швеции и Финляндии такие системы допускаются только в пилотных проектах или при расследовании конкретных преступлений, с обязательным судебным контролем. Европейский суд по правам человека и Европейский комитет по защите данных (EDPB) подчеркивают, что любые подобные технологии могут применяться лишь в условиях крайней необходимости и при наличии жёстких гарантий прозрачности и пропорциональности.

Что интересно, в Великобритании чётких рамок нет; на улицах Лондона часто можно увидеть стационарные камеры, направленные на общественные места (в странах ЕС подобное, как правило, запрещено). Местами полиция активно использует камеры с технологией распознавания лиц, особенно в Лондоне и Южном Уэльсе, однако их фактически они, как правило, используются в конкретных операциях; слежка (пока?) не является повсеместной и постоянной. Суды то и дело признавали использование таких систем законным в одних случаях и незаконным — в других; в британском законодательстве просто нет единой нормы, регулирующей эту сферу. У британских властей сохраняется возможность как повернуть законодательство в сторону защиты частной жизни и прав человека, так и развернуть его в сторону массовой слежки и репрессий.

Заключение

Как всегда, проблема не в инструменте, а в людях. Главная опасность искусственного интеллекта в контексте судебно-правовой практики — так называемая «чёрная дыра ответственности». Когда решения принимает искусственный интеллект, ответственность размывается, и становится неясно, кто несёт вину за ошибку — разработчик, эксперт, следователь или же правовая система, допустившая подобное использование искусственного интеллекта. В разных странах на этот вопрос даются разные ответы. В США ответственность на том, кто подал иск с фальшивыми данными. В ряде европейских государств ответственность берёт на себя правовая система путём категорического запрета на использование ИИ в рамках юридических процедур. В тоталитарных, репрессивных режимах и автократиях ответственность за галлюцинации ИИ часто перекладывается на пострадавших, которым приходится самостоятельно доказывать свою невиновность.

Недопустимы любые действия ИИ, блокирующие или направляющие действия следователя. Категорически недопустимо использование любых выводов, сделанных любой моделью искусственного интеллекта, в качестве доказательств. Недопустимы любые действия ИИ, указывающие следователю на виновность  или невиновность подозреваемого (во избежание предвзятости). Недопустимо использование любых алгоритмических или предсказательных моделей для оценки «потенциальных рисков», в частности, риска рецидива, который должен основываться на истории доказанных правонарушений, а не на этнической или иной принадлежности подсудимого.

Подведём итог. Совсем коротко: использовать модели искусственного интеллекта можно лишь в качестве одного из инструментов для обработки и анализа данных — но ни в коем случае не в качестве «советчика» или «подсказчика». ИИ может ускорить обработку данных, но не может и не должен выносить какие-либо суждения.