LLaVA-Interactivo: Una demostración integral para chat con imágenes, segmentación, generación y edición

LLaVA-Interactive: An All-in-One Demo for Image Chat, Segmentation, Generation and Editing

November 1, 2023

Autores: Wei-Ge Chen, Irina Spiridonova, Jianwei Yang, Jianfeng Gao, Chunyuan Li

cs.AI

Resumen

LLaVA-Interactive es un prototipo de investigación para la interacción multimodal entre humanos e IA. El sistema puede mantener diálogos de múltiples turnos con usuarios humanos al recibir entradas multimodales y generar respuestas multimodales. Es importante destacar que LLaVA-Interactive va más allá de los comandos de lenguaje, ya que habilita el uso de comandos visuales para alinear las intenciones humanas durante la interacción. El desarrollo de LLaVA-Interactive es extremadamente eficiente en costos, ya que el sistema combina tres habilidades multimodales de modelos de IA preexistentes sin necesidad de entrenamiento adicional: el chat visual de LLaVA, la segmentación de imágenes de SEEM, así como la generación y edición de imágenes de GLIGEN. Se presenta un conjunto diverso de escenarios de aplicación para demostrar las promesas de LLaVA-Interactive e inspirar futuras investigaciones en sistemas interactivos multimodales.

English

LLaVA-Interactive is a research prototype for multimodal human-AI interaction. The system can have multi-turn dialogues with human users by taking multimodal user inputs and generating multimodal responses. Importantly, LLaVA-Interactive goes beyond language prompt, where visual prompt is enabled to align human intents in the interaction. The development of LLaVA-Interactive is extremely cost-efficient as the system combines three multimodal skills of pre-built AI models without additional model training: visual chat of LLaVA, image segmentation from SEEM, as well as image generation and editing from GLIGEN. A diverse set of application scenarios is presented to demonstrate the promises of LLaVA-Interactive and to inspire future research in multimodal interactive systems.