LLaVA-Interactive: 画像チャット、セグメンテーション、生成、編集のためのオールインワンデモ

LLaVA-Interactive: An All-in-One Demo for Image Chat, Segmentation, Generation and Editing

November 1, 2023

著者: Wei-Ge Chen, Irina Spiridonova, Jianwei Yang, Jianfeng Gao, Chunyuan Li

cs.AI

要旨

LLaVA-Interactiveは、マルチモーダルな人間とAIのインタラクションのための研究プロトタイプです。このシステムは、マルチモーダルなユーザー入力を取り込み、マルチモーダルな応答を生成することで、人間のユーザーと多段階の対話を行うことができます。重要な点として、LLaVA-Interactiveは言語プロンプトを超えており、視覚プロンプトを活用してインタラクションにおける人間の意図を調整することが可能です。LLaVA-Interactiveの開発は非常にコスト効率が良く、追加のモデルトレーニングなしに、既存のAIモデルの3つのマルチモーダルスキルを組み合わせています：LLaVAの視覚チャット、SEEMの画像セグメンテーション、そしてGLIGENの画像生成と編集です。多様なアプリケーションシナリオが提示されており、LLaVA-Interactiveの可能性を示し、マルチモーダルインタラクティブシステムの将来の研究を刺激することを目的としています。

English

LLaVA-Interactive is a research prototype for multimodal human-AI interaction. The system can have multi-turn dialogues with human users by taking multimodal user inputs and generating multimodal responses. Importantly, LLaVA-Interactive goes beyond language prompt, where visual prompt is enabled to align human intents in the interaction. The development of LLaVA-Interactive is extremely cost-efficient as the system combines three multimodal skills of pre-built AI models without additional model training: visual chat of LLaVA, image segmentation from SEEM, as well as image generation and editing from GLIGEN. A diverse set of application scenarios is presented to demonstrate the promises of LLaVA-Interactive and to inspire future research in multimodal interactive systems.