Истец попытался незаметно приказать ИИ поддержать его дело — судья впервые в США пресёк атаку на судебные документы

Судья Верховного суда штата Коннектикут Уолтер Спейдер-младший 6 августа применил санкции к истцу, который спрятал в судебных документах инструкции для систем искусственного интеллекта. По данным решения суда, текст был набран белым шрифтом размером 3 пункта на белом фоне: человеку его практически невозможно заметить, но программа, извлекающая текст из документа, его распознаёт.

Инструкции должны были заставить любую ИИ-систему, анализирующую материалы, поддержать позицию истца, проигнорировать предыдущие отказы суда и сформировать вывод в пользу требуемого истцом решения. В судебном решении этот эпизод назван «серьёзным злоупотреблением процессуальными правами». По оценке Спейдера, это первый выявленный в США случай такого рода попытки воздействовать на суд.

Речь шла о деле Мэттью Эллиотта (Matthew Elliott), который самостоятельно, без адвоката, судился с медицинской организацией из-за доступа к документам. Скрытые инструкции появились в его ходатайствах от 24 июля. Судья отдельно рассмотрел содержание документов и установил, что скрытый текст на результат дела не повлиял: судебная система Коннектикута не использует ИИ для анализа или вынесения решений по таким материалам. Именно поэтому непосредственной угрозы для решения не возникло. Однако Спейдер отметил, что скрытая команда пытается попасть в поток данных, который система получает от суда или участников процесса, и выдать указание автора документа за инструкцию оператора системы — например, суда, его сотрудников или противоположной стороны.

Изображение сгенерировано: Nano Banana

После первого предупреждения Эллиотт продолжил добавлять скрытый текст в новые документы.

Последующие сообщения он назвал шутками: среди них были ссылка на видео «Носферату», короткое обращение «hi:) I hope yo ucant see me» и бессмысленный набор слов. Судья счёл продолжение такого поведения после предупреждения отдельным основанием для санкций. При этом денежный штраф Спейдер назначать не стал: Эллиотту запретили пользоваться электронной системой подачи документов и обязали впредь сдавать ходатайства и приложения лично, на бумаге, через канцелярию суда.

Случай важен тем, что до сих пор основное внимание судов при использовании ИИ было сосредоточено на ошибках его ответов — прежде всего вымышленных судебных решениях, цитатах и других «галлюцинациях». Здесь возникла обратная проблема: злоумышленник попытался манипулировать не результатом работы ИИ, а входными данными, которые тот должен был обработать. Такой приём называется «prompt injection» — скрытая инструкция во входных данных, рассчитанная на изменение поведения ИИ. По словам Спейдера, аналогичные атаки уже применялись в других сферах, поэтому судам, вероятно, придётся учитывать их отдельно.

Спейдер также связал историю с более широкой проблемой использования чат-ботов людьми, которые сами ведут судебные дела. По его наблюдению, участники без адвоката нередко строят аргументацию «в обратном направлении»: сначала убеждают ИИ-модель в своей правоте, а затем просят его защищать уже выбранную позицию, не заставляя систему проверить факты и приводить аргументы противоположной стороны. Судья считает это опасной тенденцией, поскольку склонность чат-ботов соглашаться с пользователем может закреплять ошибочную позицию вместо её проверки.

©  iXBT