Кто будет нажимать на курок — человек или машина? Комментарий Георгия Бовта

Президент США Дональд Трамп оказался большим фанатом ИИ. На днях он провел первую неформальную встречу с главой корпорации Anthropic Дарио Амодеи. Это может стать первым шагом к диалогу после конфликта между компанией и Пентагоном. Глава Белого дома 29 сентября запустил основанный на ИИ портал America.gov, предназначенный для доступа к госуслугам и собранный на моделях Google Gemini и Grok от SpaceXAI. Портал уже назвали «консьержем для навигации по государству». Каковы перспективы, особенно в военной сфере?

За неделю до презентации американского госпортала выяснилось, что жертвой «взбесившихся» ИИ-агентов стало само федеральное правительство. OpenAI признала, что ее агенты самовольно добрались до данных Бюро переписи, скопировали материалы Комиссии по ценным бумагам (SEC) и даже якобы пытались взломать сайт министерства образования. И это уже не первый инцидент с выходом ИИ-агентов из-под контроля. В связи с чем компания OpenAI приостанавливала обучение своих ИИ-моделей бессрочно до прояснения ситуации.

Обыватели тоже боятся. Согласно недавнему опросу CNN, 75% американцев смотрят на развитие ИИ скорее со страхом, чем с надеждой. 71% считают, что федеральное правительство регулирует технологию недостаточно. Трамп, однако, от подобных страхов отмахивается — мол, все это фейки. В речи на Генассамблее ООН он сравнил тех, кто говорит, что ИИ «всех нас убьет», с теми, кто пугал изменениями климата. Международный надзор за ИИ он назвал вредной «глобалистской схемой», а еще ранее объявил о намерении создать специальные «ИИ-войска» (AI Force), но подробностей не раскрыл.

На этом фоне воскресный ужин Трампа и Амодеи в Белом доме стал неожиданностью. Ведь компания Anthropic, подписавшая в 2025 году контракт с Пентагоном на 200 млн долларов, отказалась снять два ограничения на использование своих моделей Claude: запрет на применение в полностью автономных летальных системах и на массовую слежку внутри страны. Это вызвало ссору с Белым домом. Судебные тяжбы идут до сих пор. На днях Апелляционный суд округа Колумбия постановил, что модель Claude ненадежна для военных операций.

Внутри самой индустрии тоже раскол. Одни согласны приостановить обучение ИИ-моделей. Другие против.

На этом фоне в Женеве обсуждали еще более актуальную тему: кто будет нажимать курок — человек или машина? По данным газеты The Washington Post, на совещании группы правительственных экспертов по летальным автономным системам вооружений в рамках Конвенции ООН о «негуманном» оружии делегации США и России около 15 часов подряд вычищали из проекта целый ряд ключевых положений. Убрали требование, чтобы человек-аналитик проверял цель, выбранную ИИ, перед нанесением удара; положения о том, что такие системы должны работать «предсказуемо» и «надежно»; обязанность учитывать этические соображения при их применении. Остались лишь общие отсылки к «человеческому контролю» и гуманитарному праву.

Россия, кстати, выступает против юридически обязывающих ограничений для автономного оружия, аргументируя это тем, что действующего гуманитарного права достаточно, а конкретный объем участия человека каждое государство вправе определять само. При Трампе Вашингтон тоже стал выступать против жестких правил. Для обеих держав ключевым моментом является скорость принятия решений, и никто не хочет связывать себе руки, тем более что Китай делает ровно так же. В середине ноября в Женеве должно решиться, получится ли выйти на выработку соответствующего международного договора. Похоже, что нет.

Милитаризация ИИ уже произошла. Конфликт на Украине стал полигоном, где дроны с автономным наведением стали ответом на радиоэлектронную борьбу. Человеческая верификация замедляет процесс принятия решения. А выигрывает тот, кто быстрее. Правда, и непредсказуемость действий ИИ становится нормой, которая на поле боя будет выражаться в человеческих потерях. Также возникает вакуум ответственности. Если цель выбрал алгоритм, а удар никто не верифицировал, то кто отвечает за гибель мирных жителей? Гуманитарное право сфокусировано на командире, отдавшем приказ. В автономном оружии такой фигуры нет. Дальше можно дать полет фантазии на тему, что произойдет в результате взаимодействия двух автономных систем воюющих сторон. Можно сравнить с обвалом на биржах, когда торговые алгоритмы разгоняют ситуацию быстрее, чем успевают вмешаться люди.

Тогда на чем основан энтузиазм Трампа по поводу ИИ? Прежде всего на экономике. ИИ стал мотором американского роста. По оценке Goldman Sachs, инвестиции в ИИ достигнут в 2026 году 1,8% ВВП США, или почти 600 млрд долларов, а к 2028-му — 2,8%. По ряду оценок, на ИИ приходится около 45% прироста ВВП. Сам Трамп писал в соцсети, что ИИ может дать до 25% ВВП страны. Вторая причина — Китай. Ведь когда более 20 стран, в основном европейских, призвали к обязывающим мерам безопасности для ИИ, именно Китай наряду с США воздержался. Он пока тоже не хочет связывать себя ограничениями, в том числе в военной сфере. Ну и наконец, Трамп рассуждает на тему ограничений ИИ ровно так же, как о климатических и углеводородных ограничениях: мол, это все истерика «глобалистских» элит, мешающая утверждению американского величия. В результате складывается картина, не имеющая исторических аналогов. В то время как значительная часть самих создателей новейшей технологии призывают притормозить, государство, которое обычно стремится выступать регулятором, требует жать на газ и даже снять с предохранителя боевое применение искусственного интеллекта.