MVLLaVA: Een Intelligent Agent voor Geïntegreerde en Flexibele Synthese van Nieuwe Weergaven

MVLLaVA: An Intelligent Agent for Unified and Flexible Novel View Synthesis

September 11, 2024

Auteurs: Hanyu Jiang, Jian Xue, Xing Lan, Guohong Hu, Ke Lu

cs.AI

Samenvatting

Dit artikel introduceert MVLLaVA, een intelligent agent ontworpen voor taken op het gebied van het synthetiseren van nieuwe weergaven. MVLLaVA integreert meerdere multi-view diffusiemodellen met een grote multimodale model, LLaVA, waardoor het in staat is om efficiënt een breed scala aan taken aan te pakken. MVLLaVA vertegenwoordigt een veelzijdig en geünificeerd platform dat zich aanpast aan diverse soorten invoer, waaronder een enkele afbeelding, een beschrijvende onderschrift, of een specifieke verandering in kijkrichting, geleid door taalinstructies voor het genereren van gezichtspunten. We creëren zorgvuldig taakspecifieke instructiesjablonen, die vervolgens worden gebruikt om LLaVA verder af te stemmen. Als gevolg hiervan verwerft MVLLaVA de mogelijkheid om nieuwe weergaveafbeeldingen te genereren op basis van gebruikersinstructies, waarbij het zijn flexibiliteit toont over diverse taken. Experimenten worden uitgevoerd om de effectiviteit van MVLLaVA te valideren, waarbij de robuuste prestaties en veelzijdigheid ervan worden aangetoond bij het aanpakken van diverse uitdagingen op het gebied van het synthetiseren van nieuwe weergaven.

English

This paper introduces MVLLaVA, an intelligent agent designed for novel view synthesis tasks. MVLLaVA integrates multiple multi-view diffusion models with a large multimodal model, LLaVA, enabling it to handle a wide range of tasks efficiently. MVLLaVA represents a versatile and unified platform that adapts to diverse input types, including a single image, a descriptive caption, or a specific change in viewing azimuth, guided by language instructions for viewpoint generation. We carefully craft task-specific instruction templates, which are subsequently used to fine-tune LLaVA. As a result, MVLLaVA acquires the capability to generate novel view images based on user instructions, demonstrating its flexibility across diverse tasks. Experiments are conducted to validate the effectiveness of MVLLaVA, demonstrating its robust performance and versatility in tackling diverse novel view synthesis challenges.