LLaVA-Interactive: 이미지 채팅, 세그멘테이션, 생성 및 편집을 위한 올인원 데모

LLaVA-Interactive: An All-in-One Demo for Image Chat, Segmentation, Generation and Editing

November 1, 2023

저자: Wei-Ge Chen, Irina Spiridonova, Jianwei Yang, Jianfeng Gao, Chunyuan Li

cs.AI

초록

LLaVA-Interactive는 다중모달 인간-AI 상호작용을 위한 연구 프로토타입입니다. 이 시스템은 다중모달 사용자 입력을 받아 다중모달 응답을 생성함으로써 인간 사용자와 다회차 대화를 나눌 수 있습니다. 특히, LLaVA-Interactive는 언어 프롬프트를 넘어 시각적 프롬프트를 활성화하여 상호작용에서 인간의 의도를 정렬합니다. LLaVA-Interactive의 개발은 사전 구축된 AI 모델의 세 가지 다중모달 기술을 추가 모델 학습 없이 결합함으로써 매우 비용 효율적입니다: LLaVA의 시각적 채팅, SEEM의 이미지 분할, 그리고 GLIGEN의 이미지 생성 및 편집. LLaVA-Interactive의 잠재력을 보여주고 다중모달 상호작용 시스템에 대한 미래 연구를 영감하기 위해 다양한 응용 시나리오가 제시됩니다.

English

LLaVA-Interactive is a research prototype for multimodal human-AI interaction. The system can have multi-turn dialogues with human users by taking multimodal user inputs and generating multimodal responses. Importantly, LLaVA-Interactive goes beyond language prompt, where visual prompt is enabled to align human intents in the interaction. The development of LLaVA-Interactive is extremely cost-efficient as the system combines three multimodal skills of pre-built AI models without additional model training: visual chat of LLaVA, image segmentation from SEEM, as well as image generation and editing from GLIGEN. A diverse set of application scenarios is presented to demonstrate the promises of LLaVA-Interactive and to inspire future research in multimodal interactive systems.