LLaVA-Interativo: Uma Demonstração Tudo-em-Um para Chat com Imagens, Segmentação, Geração e Edição

LLaVA-Interactive: An All-in-One Demo for Image Chat, Segmentation, Generation and Editing

November 1, 2023

Autores: Wei-Ge Chen, Irina Spiridonova, Jianwei Yang, Jianfeng Gao, Chunyuan Li

cs.AI

Resumo

O LLaVA-Interactive é um protótipo de pesquisa para interação multimodal entre humanos e IA. O sistema pode realizar diálogos com múltiplas interações com usuários humanos, recebendo entradas multimodais e gerando respostas multimodais. De forma crucial, o LLaVA-Interactive vai além do prompt de linguagem, permitindo o uso de prompt visual para alinhar as intenções humanas durante a interação. O desenvolvimento do LLaVA-Interactive é extremamente eficiente em termos de custo, pois o sistema combina três habilidades multimodais de modelos de IA pré-construídos sem a necessidade de treinamento adicional: o chat visual do LLaVA, a segmentação de imagens do SEEM, bem como a geração e edição de imagens do GLIGEN. Um conjunto diversificado de cenários de aplicação é apresentado para demonstrar o potencial do LLaVA-Interactive e inspirar pesquisas futuras em sistemas interativos multimodais.

English

LLaVA-Interactive is a research prototype for multimodal human-AI interaction. The system can have multi-turn dialogues with human users by taking multimodal user inputs and generating multimodal responses. Importantly, LLaVA-Interactive goes beyond language prompt, where visual prompt is enabled to align human intents in the interaction. The development of LLaVA-Interactive is extremely cost-efficient as the system combines three multimodal skills of pre-built AI models without additional model training: visual chat of LLaVA, image segmentation from SEEM, as well as image generation and editing from GLIGEN. A diverse set of application scenarios is presented to demonstrate the promises of LLaVA-Interactive and to inspire future research in multimodal interactive systems.