LLaVA-Interactive: Универсальная демонстрация для чата с изображениями, сегментации, генерации и редактирования

LLaVA-Interactive: An All-in-One Demo for Image Chat, Segmentation, Generation and Editing

November 1, 2023

Авторы: Wei-Ge Chen, Irina Spiridonova, Jianwei Yang, Jianfeng Gao, Chunyuan Li

cs.AI

Аннотация

LLaVA-Interactive — это исследовательский прототип для многомодального взаимодействия человека и ИИ. Система способна вести многошаговые диалоги с пользователями, принимая многомодальные входные данные и генерируя многомодальные ответы. Важно отметить, что LLaVA-Interactive выходит за рамки языковых запросов, позволяя использовать визуальные подсказки для согласования намерений человека в процессе взаимодействия. Разработка LLaVA-Interactive является крайне экономически эффективной, поскольку система объединяет три многомодальных навыка предварительно обученных моделей ИИ без необходимости дополнительного обучения: визуальный чат LLaVA, сегментацию изображений от SEEM, а также генерацию и редактирование изображений от GLIGEN. Представлен разнообразный набор сценариев применения, демонстрирующих потенциал LLaVA-Interactive и вдохновляющих на дальнейшие исследования в области многомодальных интерактивных систем.

English

LLaVA-Interactive is a research prototype for multimodal human-AI interaction. The system can have multi-turn dialogues with human users by taking multimodal user inputs and generating multimodal responses. Importantly, LLaVA-Interactive goes beyond language prompt, where visual prompt is enabled to align human intents in the interaction. The development of LLaVA-Interactive is extremely cost-efficient as the system combines three multimodal skills of pre-built AI models without additional model training: visual chat of LLaVA, image segmentation from SEEM, as well as image generation and editing from GLIGEN. A diverse set of application scenarios is presented to demonstrate the promises of LLaVA-Interactive and to inspire future research in multimodal interactive systems.