Hyper-VolTran: Быстрое и обобщаемое преобразование одного изображения в 3D-структуру объекта с использованием гиперсетей

Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks

December 24, 2023

Авторы: Christian Simon, Sen He, Juan-Manuel Perez-Rua, Frost Xu, Amine Benhalloum, Tao Xiang

cs.AI

Аннотация

Решение задачи преобразования изображения в 3D на основе одного вида является некорректно поставленной проблемой, и современные методы нейронной реконструкции, использующие диффузионные модели, по-прежнему опираются на оптимизацию, специфичную для конкретной сцены, что ограничивает их способность к обобщению. Чтобы преодолеть ограничения существующих подходов в отношении обобщения и согласованности, мы представляем новую технику нейронного рендеринга. Наш подход использует знаковую функцию расстояния для представления поверхности и включает обобщающие априорные знания через объемы, кодирующие геометрию, и HyperNetworks. В частности, наш метод строит нейронные кодирующие объемы на основе сгенерированных входных данных с нескольких видов. Мы настраиваем веса сети SDF, зависящие от входного изображения во время тестирования, чтобы позволить модели адаптироваться к новым сценам в прямом проходе через HyperNetworks. Для устранения артефактов, возникающих из синтезированных видов, мы предлагаем использовать модуль объемного трансформера для улучшения агрегации признаков изображения вместо обработки каждого вида по отдельности. Благодаря нашему предложенному методу, названному Hyper-VolTran, мы избегаем узкого места, связанного с оптимизацией, специфичной для сцены, и поддерживаем согласованность между изображениями, сгенерированными с нескольких точек зрения. Наши эксперименты демонстрируют преимущества предложенного подхода, обеспечивая согласованные результаты и быстрое генерирование.

English

Solving image-to-3D from a single view is an ill-posed problem, and current neural reconstruction methods addressing it through diffusion models still rely on scene-specific optimization, constraining their generalization capability. To overcome the limitations of existing approaches regarding generalization and consistency, we introduce a novel neural rendering technique. Our approach employs the signed distance function as the surface representation and incorporates generalizable priors through geometry-encoding volumes and HyperNetworks. Specifically, our method builds neural encoding volumes from generated multi-view inputs. We adjust the weights of the SDF network conditioned on an input image at test-time to allow model adaptation to novel scenes in a feed-forward manner via HyperNetworks. To mitigate artifacts derived from the synthesized views, we propose the use of a volume transformer module to improve the aggregation of image features instead of processing each viewpoint separately. Through our proposed method, dubbed as Hyper-VolTran, we avoid the bottleneck of scene-specific optimization and maintain consistency across the images generated from multiple viewpoints. Our experiments show the advantages of our proposed approach with consistent results and rapid generation.