Уже сейчас нейронные сети способны угадывать эмоции людей на основе выражения их лица. Чаще всего модели определяют первичные эмоциональные состояния, такие как гнев, счастье или печаль (но не более тонкие).

Один из способов покрыть многообразие человеческих эмоций — ввести для них показатели валентности и интенсивности. Валентность это то, насколько позитивно или негативно выглядит проявление эмоции, интенсивность — насколько спокойным или возбужденным выглядит выражающий ее человек. Большинство людей легко даст их оценку, просто взглянув на лицо, но не машины. По крайней мере, так было до недавнего времени. 

Командам исследователей из Samsung AI и Имперского колледжа Лондона удалось научить нейронную сеть с высокой точностью оценивать эмоциональные характеристики по изображениям человеческих лиц. Процесс анализа достаточно быстрый, чтобы получать оценку эмоций в реальном времени — для демонстрации его работы на видео, сопровождающем публикацию исследования в Nature Machine Intelligence, используются несколько видов шкал эмоционального состояния разной степени подробности.

Взаимное расположение губ, носа, глаз и других ориентиров (их сетка в видеоролике тоже есть) персонажа кинофильма или героя живой съемки соответствует его уровню спокойствия и эмоциональной окраски с определенным знаком. Различные комбинации этих показателей соответствуют различным состояниям человека — например, несчастному, сонному, испуганному или презрительному выражению его лица.

Разработанный метод глубокого обучения оценивает эмоциональное состояние только на отдельных кадрах. То, каким образом эмоции сменяют друг друга, в какой последовательности, алгоритмы пока не могут учитывать — над этим продолжается работа ученых.

Источник

    Полезные материалы в одной еженедельной рассылке
    Подписывайтесь, не пожалеете.