MVLLaVA: Интеллектуальный агент для объединенного и гибкого синтеза нового вида.

MVLLaVA: An Intelligent Agent for Unified and Flexible Novel View Synthesis

September 11, 2024

Авторы: Hanyu Jiang, Jian Xue, Xing Lan, Guohong Hu, Ke Lu

cs.AI

Аннотация

Этот документ представляет MVLLaVA, интеллектуального агента, разработанного для задач синтеза нового вида. MVLLaVA интегрирует несколько моделей диффузии многократного просмотра с большой мультимодальной моделью LLaVA, что позволяет ему эффективно решать широкий спектр задач. MVLLaVA представляет собой универсальную и объединенную платформу, которая адаптируется к различным типам ввода, включая одно изображение, описательный заголовок или конкретное изменение угла обзора, управляемое языковыми инструкциями для генерации точки зрения. Мы тщательно разрабатываем шаблоны инструкций, специфичные для задачи, которые затем используются для настройки LLaVA. В результате MVLLaVA приобретает способность генерировать изображения нового вида на основе инструкций пользователя, демонстрируя свою гибкость в различных задачах. Проводятся эксперименты для проверки эффективности MVLLaVA, демонстрируя его надежное исполнение и универсальность в решении разнообразных задач синтеза нового вида.

English

This paper introduces MVLLaVA, an intelligent agent designed for novel view synthesis tasks. MVLLaVA integrates multiple multi-view diffusion models with a large multimodal model, LLaVA, enabling it to handle a wide range of tasks efficiently. MVLLaVA represents a versatile and unified platform that adapts to diverse input types, including a single image, a descriptive caption, or a specific change in viewing azimuth, guided by language instructions for viewpoint generation. We carefully craft task-specific instruction templates, which are subsequently used to fine-tune LLaVA. As a result, MVLLaVA acquires the capability to generate novel view images based on user instructions, demonstrating its flexibility across diverse tasks. Experiments are conducted to validate the effectiveness of MVLLaVA, demonstrating its robust performance and versatility in tackling diverse novel view synthesis challenges.