HarmonyView: Согласование согласованности и разнообразия в преобразовании одного изображения в 3D

HarmonyView: Harmonizing Consistency and Diversity in One-Image-to-3D

December 26, 2023

Авторы: Sangmin Woo, Byeongjun Park, Hyojun Go, Jin-Young Kim, Changick Kim

cs.AI

Аннотация

Недавние достижения в области генерации 3D-моделей из одного изображения подчеркивают важность согласованности между несколькими видами, используя 3D-априорные знания, полученные из крупномасштабных диффузионных моделей, предварительно обученных на изображениях интернет-масштаба. Однако аспект разнообразия новых ракурсов остается недостаточно изученным в исследовательской среде из-за неоднозначности преобразования 2D-изображения в 3D-контент, где может возникнуть множество потенциальных форм. В данной работе мы стремимся устранить этот пробел, одновременно учитывая как согласованность, так и разнообразие. Однако достижение баланса между этими двумя аспектами представляет собой значительную сложность из-за их внутреннего противоречия. В этой работе представлен HarmonyView — простой, но эффективный метод сэмплинга на основе диффузии, который умело разделяет два сложных аспекта в генерации 3D-моделей из одного изображения: согласованность и разнообразие. Этот подход открывает путь для более детального изучения этих двух критических измерений в процессе сэмплинга. Кроме того, мы предлагаем новую метрику оценки, основанную на CLIP-кодировщиках изображений и текста, для всестороннего анализа разнообразия генерируемых ракурсов, которая тесно согласуется с оценками экспертов. В экспериментах HarmonyView достигает гармоничного баланса, демонстрируя выигрышный сценарий как в согласованности, так и в разнообразии.

English

Recent progress in single-image 3D generation highlights the importance of multi-view coherency, leveraging 3D priors from large-scale diffusion models pretrained on Internet-scale images. However, the aspect of novel-view diversity remains underexplored within the research landscape due to the ambiguity in converting a 2D image into 3D content, where numerous potential shapes can emerge. Here, we aim to address this research gap by simultaneously addressing both consistency and diversity. Yet, striking a balance between these two aspects poses a considerable challenge due to their inherent trade-offs. This work introduces HarmonyView, a simple yet effective diffusion sampling technique adept at decomposing two intricate aspects in single-image 3D generation: consistency and diversity. This approach paves the way for a more nuanced exploration of the two critical dimensions within the sampling process. Moreover, we propose a new evaluation metric based on CLIP image and text encoders to comprehensively assess the diversity of the generated views, which closely aligns with human evaluators' judgments. In experiments, HarmonyView achieves a harmonious balance, demonstrating a win-win scenario in both consistency and diversity.