В новой рекламе «Сбер» демонстрирует своему, похоже, давнему клиенту Жоржу Милославскому, как выросла компания за почти 20 лет. Как им удалось сохранить молодость и привлекательность авантюриста из комедии «Иван Васильевич меняет профессию»? Ведь в видео он совсем не изменился за прошедшие 50 лет.

Есть несколько способов, которыми могли этого добиться:

Face tracking

Чтобы заменить лицо актера на другое, нужно всегда знать его местоположение в кадре. Распознавание и отслеживание лица — задача технологии 3D-трекинга. Это сложный процесс, когда программа фиксирует перемещение групп точек, соответствующих определенным ориентирам на лице — бровям, глазам, носу, губам и т.д.

От того, как много узловых точек определено, зависит точность передачи мимики и положение лица в пространстве (ведь актер не только говорит и улыбается, но еще и смотрит в разные стороны).

AR-маски

Чтобы работать с уже отснятым материалом нужно профессиональное ПО, но можно и проще! Например, Instagram поддерживает отслеживание лица и позволяет проворачивать над ним всякие фокусы в реальном времени.

Если наловчиться делать текстуры, например, в Photoshop, то можно будет самому создавать маски для Instagram в среде AR-разработки Spark AR Studio от Facebook.

Motion capture

Если задаться целью еще на этапе съемок, можно добиться потрясающих результатов при помощи технологии motion capture. Позиции узловых точек лица отслеживаются при помощи меток на лице актера. Так в «Ирландце» Роберта Де Ниро омолодили на 30 лет (конкретно он метки на лицо наносить не захотел, пришлось делать их виртуальными). Похожий трюк провернули в «Изгое-1» по вселенной Звездных Войн с образом молодой принцессы Леи Органы, которую вместо Кэрри Фишер сыграла Ингвильд Дейла. Благодаря ее небольшому возрасту эффект в фильме получился убедительнее чем в «Ирландце» — у технологии есть ограничения, изменить то, как вообще держится человек в определенном возрасте, она не в состоянии.

При использовании motion capture строится 3D-модель нового лица и мимика переносится через синхронизацию движений промаркированных точек. Получившейся живой головой замещают голову актера.

3D-сканирование

Если можно оцифровать лицо актера, можно и всего целиком! Чтобы обойтись без участия живого человека на съемочной площадке, его облик воссоздают в виде 3D модели. В Marvel Studio сейчас сканируют вообще всех своих супергероев (обычный и без сверхспособностей, не виртуальный человек умер бы в первой же схватке любого из их фильмов).

Может быть и так, что кинокомпания захочет задействовать в съемках уже покойного актера. Так студия спецэффектов Industrial Light & Magic для фильма «Изгой-1» вернула на экран героя Питера Кушинга — им повезло найти слепок его лица, сделанный для фильма “Top Secret” еще в 1984 году.

Альтернативный подход

Существует еще один, кардинально иной подход к манипуляциям над человеческой внешностью на фотографиях и видео — нейросетевой. Видео, где при помощи генеративно-состязательных нейронных сетей Сильвестр Сталлоне становится терминатором, Джим Керри вместо Джека Николсона сходит с ума в «Сиянии», а Бэкхэм рассказывает о малярии на девяти разных языках, называются «дипфейками». К сожалению, с помощью этой же технологии можно не только организовывать кинопробы, в которых каждый может почувствовать себя суперменом в одноименной картине, и относительно безобидно шутить, но и создавать фейковый компромат.

    Полезные материалы в одной еженедельной рассылке
    Подписывайтесь, не пожалеете.