Ежедневные статьи

Существующие методы для 4D-реконструкции общих объектов, подверженных нежестким деформациям, сосредоточены на синтезе новых видов и пренебрегают установлением соответствий. Однако временная согласованность позволяет решать более сложные задачи, такие как 3D-редактирование, анализ движения или создание виртуальных активов. Мы предлагаем метод SceNeRFlow для реконструкции общей сцены с нежесткими деформациями с сохранением временной согласованности. Наш метод динамического NeRF принимает на вход многовидовые RGB-видео и фоновые изображения, полученные с помощью статических камер с известными параметрами. Он реконструирует деформации оцененной канонической модели геометрии и внешнего вида в режиме реального времени. Поскольку эта каноническая модель инвариантна во времени, мы получаем соответствия даже для долгосрочных и протяженных движений. Мы используем нейронные представления сцены для параметризации компонентов нашего метода. Как и в предыдущих методах динамического NeRF, мы применяем модель обратной деформации. Мы обнаружили, что для обработки более крупных движений необходимы нетривиальные адаптации этой модели: мы разлагаем деформации на сильно регуляризованную грубую компоненту и слабо регуляризованную тонкую компоненту, причем грубая компонента также расширяет поле деформации в пространство вокруг объекта, что позволяет отслеживать его во времени. Экспериментально мы показываем, что, в отличие от предыдущих работ, которые справляются только с малыми движениями, наш метод позволяет реконструировать движения в масштабах студии.