Создание видео немного напоминает съемку с дрона: виртуальная траектория полета выстраивается алгоритмом одновременно с генерацией каждого следующего кадра на основе предыдущего, чтобы камера не врезалась в землю или гору.

Модель обучали на более чем 700 видео (двух миллионах кадров) пролетов над прибрежными пляжами и скалами. Вручную нужно было только выбирать подходящие ролики, но не размечать кадры — трехмерные сцены алгоритмы строили по ним самостоятельно. Первые 500 кадров (это около 15 секунд) получаются очень реалистичными, дальше модели приходится опираться уже только на самостоятельно нарисованные виды, и качество начинает незаметно, но постепенно снижаться.

Исследователи в скором времени обещают опубликовать исходный код, а пока делятся в статье подробностями реализации и лучшими сгенерированными полетами над несуществующими просторами.

Страница проекта

    Полезные материалы в одной еженедельной рассылке
    Подписывайтесь, не пожалеете.