MVLLaVA: Un agente intelligente per la sintesi unificata e flessibile di nuove visuali.

MVLLaVA: An Intelligent Agent for Unified and Flexible Novel View Synthesis

September 11, 2024

Autori: Hanyu Jiang, Jian Xue, Xing Lan, Guohong Hu, Ke Lu

cs.AI

Abstract

Questo articolo introduce MVLLaVA, un agente intelligente progettato per compiti di sintesi di nuove visualizzazioni. MVLLaVA integra diversi modelli di diffusione multi-vista con un ampio modello multimodale, LLaVA, consentendogli di gestire in modo efficiente una vasta gamma di compiti. MVLLaVA rappresenta una piattaforma versatile e unificata che si adatta a diversi tipi di input, inclusa un'immagine singola, una didascalia descrittiva o un cambiamento specifico nell'azimut di visualizzazione, guidato da istruzioni linguistiche per la generazione del punto di vista. Sviluppiamo attentamente modelli di istruzioni specifici per il compito, che vengono successivamente utilizzati per perfezionare LLaVA. Di conseguenza, MVLLaVA acquisisce la capacità di generare immagini di nuove visualizzazioni basate sulle istruzioni dell'utente, dimostrando la sua flessibilità attraverso diversi compiti. Sono stati condotti esperimenti per convalidare l'efficacia di MVLLaVA, dimostrando le sue prestazioni robuste e la sua versatilità nel affrontare diverse sfide di sintesi di nuove visualizzazioni.

English

This paper introduces MVLLaVA, an intelligent agent designed for novel view synthesis tasks. MVLLaVA integrates multiple multi-view diffusion models with a large multimodal model, LLaVA, enabling it to handle a wide range of tasks efficiently. MVLLaVA represents a versatile and unified platform that adapts to diverse input types, including a single image, a descriptive caption, or a specific change in viewing azimuth, guided by language instructions for viewpoint generation. We carefully craft task-specific instruction templates, which are subsequently used to fine-tune LLaVA. As a result, MVLLaVA acquires the capability to generate novel view images based on user instructions, demonstrating its flexibility across diverse tasks. Experiments are conducted to validate the effectiveness of MVLLaVA, demonstrating its robust performance and versatility in tackling diverse novel view synthesis challenges.