MVLLaVA: Ein intelligenter Agent für vereinheitlichte und flexible Synthese neuer Ansichten.

MVLLaVA: An Intelligent Agent for Unified and Flexible Novel View Synthesis

September 11, 2024

Autoren: Hanyu Jiang, Jian Xue, Xing Lan, Guohong Hu, Ke Lu

cs.AI

Zusammenfassung

Dieses Papier stellt MVLLaVA vor, einen intelligenten Agenten, der für neuartige Ansichtssynthesen konzipiert ist. MVLLaVA integriert mehrere Multi-View-Diffusionsmodelle mit einem großen multimodalen Modell, LLaVA, was es ihm ermöglicht, eine Vielzahl von Aufgaben effizient zu bewältigen. MVLLaVA stellt eine vielseitige und vereinheitlichte Plattform dar, die sich an verschiedene Eingabetypen anpasst, einschließlich eines einzelnen Bildes, einer beschreibenden Bildunterschrift oder einer spezifischen Änderung des Betrachtungswinkels, die durch Sprachanweisungen zur Ansichtsgenerierung geleitet wird. Wir erstellen sorgfältig aufgabenspezifische Anweisungsvorlagen, die anschließend zur Feinabstimmung von LLaVA verwendet werden. Als Ergebnis erwirbt MVLLaVA die Fähigkeit, neuartige Ansichtsbilder basierend auf Benutzeranweisungen zu generieren und zeigt damit seine Flexibilität bei verschiedenen Aufgaben. Experimente werden durchgeführt, um die Wirksamkeit von MVLLaVA zu validieren und seine robuste Leistungsfähigkeit und Vielseitigkeit bei der Bewältigung verschiedener Herausforderungen der neuartigen Ansichtssynthese zu demonstrieren.

English

This paper introduces MVLLaVA, an intelligent agent designed for novel view synthesis tasks. MVLLaVA integrates multiple multi-view diffusion models with a large multimodal model, LLaVA, enabling it to handle a wide range of tasks efficiently. MVLLaVA represents a versatile and unified platform that adapts to diverse input types, including a single image, a descriptive caption, or a specific change in viewing azimuth, guided by language instructions for viewpoint generation. We carefully craft task-specific instruction templates, which are subsequently used to fine-tune LLaVA. As a result, MVLLaVA acquires the capability to generate novel view images based on user instructions, demonstrating its flexibility across diverse tasks. Experiments are conducted to validate the effectiveness of MVLLaVA, demonstrating its robust performance and versatility in tackling diverse novel view synthesis challenges.