Нейросеть заменит собой «зеленый экран». Алгоритм сможет в реальном времени совмещать в одном кадре человека и нужный фон вне зависимости от цвета одежды и наличия подвижных элементов на заднем плане. И опять можно обойтись одной видеокартой NVIDIA GTX 1080Ti.

Легковесную нейросеть MODNet разработала группа исследователей Гонконгского университета и китайской компании SenseTime Research. Демо и натренированую модель опубликуют уже в декабре этого года, код и датасет — в январе-феврале следующего. Вот так выглядит методика обработки видеопотока:

(a) Сверточную нейронную сеть предварительно обучают на заранее размеченных фотографиях выделять человеческую фигуру — грубые очертания и мелкие детали, по отдельности.

(b) На неразмеченных кадрах модель улучшает свои возможности по совмещению полученных изображений.

(c) Оставшиеся огрехи, выскакивающие на некоторых кадрах, убираются при помощи усреднения информации с соседних.

Герои «Титаника» беспечно стоят на носу лайнера, костюм телеведущего растворяется в карте осадков, голова стримера на Twitch вещает о чем-то прямо на фоне игры  — скоро и вы сможете всё это попробовать, и не надо будет натягивать полотна, ставить равномерный свет, подбирать цвет одежды и настройки видеоаппаратуры.
Существуют различные альтернативы технологии, например, от YouTube или Teams. Они подойдут, если вы снимаете только для этой стриминговой платформы или ограничиваетесь рабочими совещаниями в неубранной квартире. А если пока нужно только по-быстрому наделать стикеров из фоток коллеги — можно воспользоваться бесплатными услугами ИИ в онлайн-сервисе.

    Полезные материалы в одной еженедельной рассылке
    Подписывайтесь, не пожалеете.