Ученые Сбера научили ИИ распознавать эмоции

4 часов назад 2

Ученые Сбера и НИУ ВШЭ научили искусственный интеллект точнее распознавать человеческие эмоции

Ученые Сбера и НИУ ВШЭ научили искусственный интеллект точнее распознавать человеческие эмоцииИсточник: fusionbrain

Ученые из Центра практического Искусственного Интеллекта Сбербанка и НИУ ВШЭ представили революционную систему распознавания человеческих эмоций, которая превосходит существующие аналоги по точности на 10%. Новая разработка анализирует одновременно три параметра: мимику, голос и речь, что позволяет точнее определять эмоциональное состояние человека даже в сложных условиях.

Технология сочетает в себе два современных подхода к обработке данных: временные сверточные сети (TCN) отслеживают изменения эмоций во времени, а трансформерные архитектуры обрабатывают мультимодальные данные — звук и изображение. Такой комплексный подход обеспечивает стабильно высокую точность даже при плохом освещении, фоновом шуме или частичном отсутствии данных.

Наша система делает взаимодействие человека и ИИ по-настоящему осмысленным. Мы научились не просто распознавать базовые эмоции, но и понимать их динамику в реальных условиях. Это открывает новые возможности для бизнеса и социальной сферы, — поясняет Андрей Савченко, научный директор Центра ИИ Сбербанка.

Разработка уже тестируется в нескольких практических областях. В кол-центрах система помогает анализировать настроение клиентов, повышая качество обслуживания. Маркетологи используют ее для оценки эмоциональной реакции на продукты и рекламу. В сфере безопасности технология позволяет выявлять признаки агрессии или паники, а в медицине — диагностировать депрессивные состояния по голосу и мимике пациента.

Ученые из Сбербанка и НИУ ВШЭ представили инновационную систему распознавания эмоций, комбинирующую мимику, голос и речь для повышения точности на 10%.

Ученые из Сбербанка и НИУ ВШЭ представили инновационную систему распознавания эмоций, комбинирующую мимику, голос и речь для повышения точности на 10%. Источник: РУДН

Особенность новой системы — ее адаптивность. Алгоритм сохраняет работоспособность даже в неидеальных условиях: когда лицо частично закрыто маской или плохо видно, а также при наличии фонового шума. В таких случаях система автоматически перераспределяет вес между аудио и видеоданными, сохраняя высокую точность распознавания.

Перспективы применения технологии практически безграничны. В ближайших планах исследователей — адаптация системы для виртуальных ассистентов, что сделает их более «чуткими» и отзывчивыми. Также рассматривается возможность использования в «умных» офисах для мониторинга психологического климата в коллективе и в социальных сетях для модерации контента.

Это не просто очередное улучшение точности, а качественный скачок в развитии эмоционального ИИ. Мы создаем технологию, которая действительно понимает человека, — подчеркивает Савченко.

Читайте также нашу статью о том, как Сбер улучшил генератор картинок Kandinsky.

Прочитайте статью целиком