Он разработан исследователями из Facebook AI Research и университета Карнеги — Меллона. Метод назвали Worldsheet.

Несколько нейросетей отвечают за то, чтобы оценить расстояние до объектов, создать 3D-сцену и натянуть на нее двумерную разметку — UV-развертку. Так они определяют, что на cгенерированной сцене в зоне видимости, а что «за кадром». Затем алгоритмы дорисовывают на развертке текстуры поверхностей. Качество получается даже лучше, чем у методов, которые применили в Google для генерации побережий, заявляют разработчики.

Убедиться в этом можно, посмотрев демонстрационные видео обработки фотографий и фотореалистичных изображений. В них создатели объясняют и показывают, как с помощью Worldsheet можно оглядеться в комнате, изображенной на снимке, или немного пройтись по улице с картины.

Страница проекта

    Полезные материалы в одной еженедельной рассылке
    Подписывайтесь, не пожалеете.