InternChat: チャットボットとの対話による視覚中心タスクの解決 言語を超えて

InternChat: Solving Vision-Centric Tasks by Interacting with Chatbots Beyond Language

May 9, 2023

著者: Zhaoyang Liu, Yinan He, Wenhai Wang, Weiyun Wang, Yi Wang, Shoufa Chen, Qinglong Zhang, Yang Yang, Qingyun Li, Jiashuo Yu, Kunchang Li, Zhe Chen, Xue Yang, Xizhou Zhu, Yali Wang, Limin Wang, Ping Luo, Jifeng Dai, Yu Qiao

cs.AI

要旨

本論文では、InternChat（略称iChat）というインタラクティブなビジュアルフレームワークを提案します。このフレームワークは、ChatGPTのような計画・推論能力を備えたチャットボットと、画面上の画像や動画を直接操作するためのポインティング（ジェスチャーやカーソルなど）といった非言語的指示を統合しています。ポインティング動作は、視覚中心のタスクにおいて、細かな制御や編集、ビジュアルコンテンツの生成を必要とする場合に、より柔軟性と精度を提供します。InternChatという名称は、インタラクション（interaction）、非言語的（nonverbal）、チャットボット（chatbots）を意味しています。純粋な言語に依存する既存のインタラクティブシステムとは異なり、ポインティング指示を取り入れることで、提案するiChatは、ユーザーとチャットボット間のコミュニケーション効率を大幅に向上させ、特にオブジェクト数が2つ以上の複雑な視覚シナリオにおいて、チャットボットの視覚中心タスクの精度を高めます。さらに、iChatでは、LLMの制御能力を向上させるための補助制御メカニズムが使用され、高品質なマルチモーダル対話のためにHuskyと呼ばれる大規模視覚言語モデルが微調整されています（GPT-4品質の93.89%でChatGPT-3.5-turboを上回る性能を示しています）。この研究が、将来のインタラクティブビジュアルシステムに対する新たなアイデアと方向性を刺激することを期待しています。コードはhttps://github.com/OpenGVLab/InternChatでご覧いただけます。

English

We present an interactive visual framework named InternChat, or iChat for short. The framework integrates chatbots that have planning and reasoning capabilities, such as ChatGPT, with non-verbal instructions like pointing movements that enable users to directly manipulate images or videos on the screen. Pointing (including gestures, cursors, etc.) movements can provide more flexibility and precision in performing vision-centric tasks that require fine-grained control, editing, and generation of visual content. The name InternChat stands for interaction, nonverbal, and chatbots. Different from existing interactive systems that rely on pure language, by incorporating pointing instructions, the proposed iChat significantly improves the efficiency of communication between users and chatbots, as well as the accuracy of chatbots in vision-centric tasks, especially in complicated visual scenarios where the number of objects is greater than 2. Additionally, in iChat, an auxiliary control mechanism is used to improve the control capability of LLM, and a large vision-language model termed Husky is fine-tuned for high-quality multi-modal dialogue (impressing ChatGPT-3.5-turbo with 93.89% GPT-4 Quality). We hope this work can spark new ideas and directions for future interactive visual systems. Welcome to watch the code at https://github.com/OpenGVLab/InternChat.