LLaVA-Interactive: Eine All-in-One-Demo für Bild-Chat, Segmentierung, Generierung und Bearbeitung
LLaVA-Interactive: An All-in-One Demo for Image Chat, Segmentation, Generation and Editing
November 1, 2023
Autoren: Wei-Ge Chen, Irina Spiridonova, Jianwei Yang, Jianfeng Gao, Chunyuan Li
cs.AI
Zusammenfassung
LLaVA-Interactive ist ein Forschungsexemplar für multimodale Mensch-KI-Interaktion. Das System kann mehrschrittige Dialoge mit menschlichen Nutzern führen, indem es multimodale Benutzereingaben verarbeitet und multimodale Antworten generiert. Besonders hervorzuheben ist, dass LLaVA-Interactive über Sprachaufforderungen hinausgeht, indem visuelle Aufforderungen ermöglicht werden, um die Absichten des Menschen in der Interaktion auszurichten. Die Entwicklung von LLaVA-Interactive ist äußerst kosteneffizient, da das System drei multimodale Fähigkeiten vorgefertigter KI-Modelle ohne zusätzliches Modelltraining kombiniert: den visuellen Chat von LLaVA, die Bildsegmentierung von SEEM sowie die Bildgenerierung und -bearbeitung von GLIGEN. Eine Vielzahl von Anwendungsszenarien wird präsentiert, um das Potenzial von LLaVA-Interactive zu demonstrieren und zukünftige Forschungen im Bereich multimodaler interaktiver Systeme zu inspirieren.
English
LLaVA-Interactive is a research prototype for multimodal human-AI
interaction. The system can have multi-turn dialogues with human users by
taking multimodal user inputs and generating multimodal responses. Importantly,
LLaVA-Interactive goes beyond language prompt, where visual prompt is enabled
to align human intents in the interaction. The development of LLaVA-Interactive
is extremely cost-efficient as the system combines three multimodal skills of
pre-built AI models without additional model training: visual chat of LLaVA,
image segmentation from SEEM, as well as image generation and editing from
GLIGEN. A diverse set of application scenarios is presented to demonstrate the
promises of LLaVA-Interactive and to inspire future research in multimodal
interactive systems.