Как это сделано: цифровой Элтон Джон

Spinifex Group использовала новейшие технологии оцифровки тела и лица для глубокого погружения зрителя в знаковые моменты карьеры Элтона Джона с помощью представления в виртуальной реальности. В этом обзоре мы сосредоточимся на передовых технических решениях, используемых в проектах VR такого класса.

В производстве «фильма» использованы технологии прецизионного управления камерами, круговая стереоскопическая запись живых сцен, захват движения и мимики, 3D-моделирование и рендеринг на кластере из 95 графических ускорителей мощностью 1,1 Петафлоп. Одной из самых сложных задач стало сведение живого сферического видео с компьютерной графикой.

Дебют в 1970
От дебютного концерта Элтона Джона в США остались лишь несколько зернистых фотоснимков. Чтобы воссоздать исторический момент в виртуальном фильме, команда приняла решение использовать для съемки дублера с цифровым наложением лица.

Для съемки использовалась профессиональная круговая камера ZCam V1Pro с объективами MFT 9 x 190° и управляемой диафрагмой. Выходное разрешение сферической панорамы составило 7К.
Для съемки использовалась профессиональная круговая камера ZCam V1Pro с объективами MFT 9 x 190° и управляемой диафрагмой. Выходное разрешение сферической панорамы составило 7К.
Этап производства состоял из 1-дневного сеанса захвата движений и 2-дневной натурной съемки в Лос Анжелесе, с 5-дневной подготовкой.

Студийная съемка…
Студийная съемка…
… и результат
… и результат
Оцифровка движений Элтона
Для того, чтобы движения цифрового Элтона соответствовали оригиналу, был сделан захват движений (мокап) настоящего Элтона Джона.

Данные с датчиков на теле Элтона Джона поступали в программное обеспечение Vicon Blade. Для обработки данных использовался Motion Builder.
Данные с датчиков на теле Элтона Джона поступали в программное обеспечение Vicon Blade. Для обработки данных использовался Motion Builder.
Мокап кистей рук
Мокап кистей рук
Цифровой Элтон
Для создания фотореалистичного цифрового двойника использована установка Road Runner. В процессе производства фильма были сканированы все виды мимических выражений FACS. В результате была создана скелетная модель с управляемыми мышечными элементами FACS.

Для 3D-сканирования использована установка Road Runner. Это мобильная многокамерная система для фотограмметрического сканирования людей в полный рост, позволяющая сканировать лица в высоком разрешении. Система располагается в трейлере в американском стиле. Время развертывания 2 часа
Для 3D-сканирования использована установка Road Runner. Это мобильная многокамерная система для фотограмметрического сканирования людей в полный рост, позволяющая сканировать лица в высоком разрешении. Система располагается в трейлере в американском стиле. Время развертывания 2 часа
Система Road Runner состоит из 162 цифровых зеркальных фотокамер
Система Road Runner состоит из 162 цифровых зеркальных фотокамер
Скелетная модель лица с управляемыми мышечными элементами FACS
Скелетная модель лица с управляемыми мышечными элементами FACS
Рендер модели лица
Рендер модели лица
Производство
Производственный конвейер состоял из нескольких различных программных пакетов и плагинов. Финальный рендер выполнен в V-Ray и смонтирован в Nuke с CaraVR. Интерьеры и декорации отрендерены в RedShift и частично смонтированы в Adobe After Effects.

Анимация частиц была выполнена в C4D с модулем MoGraph. Для имитации движения жидких сред использован Turbulence FD. Рендеринг объемных спецэфектов выполнен в RedShift для C4D. Некоторые работы по анимации частиц сделаны в Nuke.
Анимация частиц была выполнена в C4D с модулем MoGraph. Для имитации движения жидких сред использован Turbulence FD. Рендеринг объемных спецэфектов выполнен в RedShift для C4D. Некоторые работы по анимации частиц сделаны в Nuke.
Сцена состоит из комбинации натурной съемки на хромакее, наложении лица и компьютерной графики.

Тестовая визуализация наложения лица
Тестовая визуализация наложения лица
Финальный проект выпущен с разрешением 5120 х 5120 пикселей при 30 кадрах в секунду, общей длительностью фильма 6 минут.

Научно-исследовательский кинофотоинститут (НИКФИ) — легенда отечественной кинотехнической науки. На его счету и «Оскар» за стереокино в СССР, и фотографирование обратной сторны Луны, а теперь еще и нейросети и искусственный интеллект.
Мы в НИКФИ активно изучаем передовой опыт в области виртуальной реальности и иммерсивного кинематографа, а также ведем собственные разработки в области многокамерной съемки объемных сцен и создания голографического телевидения и новых видов зрелищ.
Приглашаем студентов и аспирантов на стажировку и работу в самых передовых областях компьютерной графики, виртуальной реальности и искусственного интеллекта!
Источник: https://www.fxguide.com/featured/digital-vr-elton/

Leave a Reply

Ваш e-mail не будет опубликован. Обязательные поля помечены *