LLaVA-Interactive: Een Alles-in-Één Demo voor Beeldchat, Segmentatie, Generatie en Bewerking

LLaVA-Interactive: An All-in-One Demo for Image Chat, Segmentation, Generation and Editing

November 1, 2023

Auteurs: Wei-Ge Chen, Irina Spiridonova, Jianwei Yang, Jianfeng Gao, Chunyuan Li

cs.AI

Samenvatting

LLaVA-Interactive is een onderzoeksprototype voor multimodale mens-AI-interactie. Het systeem kan meerzijdige dialogen voeren met menselijke gebruikers door multimodale gebruikersinvoer te verwerken en multimodale reacties te genereren. Belangrijk is dat LLaVA-Interactive verder gaat dan taalprompts, waarbij visuele prompts worden ingeschakeld om menselijke intenties in de interactie af te stemmen. De ontwikkeling van LLaVA-Interactive is uiterst kostenefficiënt, omdat het systeem drie multimodale vaardigheden combineert van vooraf gebouwde AI-modellen zonder aanvullende modeltraining: visuele chat van LLaVA, beeldsegmentatie van SEEM, evenals beeldgeneratie en -bewerking van GLIGEN. Een diverse reeks toepassingsscenario's wordt gepresenteerd om de beloften van LLaVA-Interactive te demonstreren en toekomstig onderzoek naar multimodale interactieve systemen te inspireren.

English

LLaVA-Interactive is a research prototype for multimodal human-AI interaction. The system can have multi-turn dialogues with human users by taking multimodal user inputs and generating multimodal responses. Importantly, LLaVA-Interactive goes beyond language prompt, where visual prompt is enabled to align human intents in the interaction. The development of LLaVA-Interactive is extremely cost-efficient as the system combines three multimodal skills of pre-built AI models without additional model training: visual chat of LLaVA, image segmentation from SEEM, as well as image generation and editing from GLIGEN. A diverse set of application scenarios is presented to demonstrate the promises of LLaVA-Interactive and to inspire future research in multimodal interactive systems.