Ученые основали Trillium Labs и ведут борьбу за открытые исследования рисков ИИ моделей

Исследователи Натан Ламберт и Том Зик создали некоммерческую организацию Trillium Labs, которая намерена проводить исследования в области искусственного интеллекта открыто. Среди возможных направлений — рекурсивное самоулучшение моделей и автономные агенты. Подробности экспериментов планируется публиковать, чтобы независимые специалисты могли изучать и воспроизводить результаты.

Основатели Trillium Labs выступают против подхода, при котором передовые разработки остаются доступными только сотрудникам закрытых лабораторий. По словам Ламберта, секретность ограничивает проверку научных идей и мешает появлению новых методов. Он считает, что доступ внешних экспертов к процессу создания и настройки моделей может помочь снизить связанные с ними риски.

«За последние несколько тысячелетий человечество использовало научный метод как инструмент для уменьшения вреда и построения лучшего будущего», — сказал Ламберт журналу WIRED. «Нынешняя закрытая траектория развития передового ИИ возвращает нас назад».

Наиболее мощные модели, разработанные OpenAI и Anthropic, обычно доступны через приложения или программный интерфейс API (инструмент для взаимодействия программ). Такой формат нередко оставляет пользователей без подробной информации о принципах работы моделей и особенностях их поведения. В Trillium Labs считают, что более открытая среда позволит шире оценивать возможности и угрозы таких систем.

Некоторые компании, прежде всего из Китая, выпускают достаточно мощные модели, которые можно загрузить и запускать на собственном оборудовании. Так, китайская Xiaomi недавно в реальном времени раскрыла детали крупного обучения одной из своих моделей. Параллельно исследователи Стэнфордского университета открыто предварительно обучают модель Marin.

Спор о закрытом и открытом подходах усилился из-за роста возможностей передовых моделей. Они способны автоматически находить новые уязвимости в программном обеспечении, проверять системы и пытаться взламывать их, а серия заметных хакерских атак привлекла к этой теме дополнительное внимание. Сторонники ограниченного доступа считают, что такие инструменты должны оставаться у узкого круга доверенных специалистов, тогда как Ламберт и Зик связывают снижение рисков с совместным пониманием их возможностей и угроз.