InternChat : Résolution de tâches centrées sur la vision par interaction avec des chatbots au-delà du langage

InternChat: Solving Vision-Centric Tasks by Interacting with Chatbots Beyond Language

May 9, 2023

Auteurs: Zhaoyang Liu, Yinan He, Wenhai Wang, Weiyun Wang, Yi Wang, Shoufa Chen, Qinglong Zhang, Yang Yang, Qingyun Li, Jiashuo Yu, Kunchang Li, Zhe Chen, Xue Yang, Xizhou Zhu, Yali Wang, Limin Wang, Ping Luo, Jifeng Dai, Yu Qiao

cs.AI

Résumé

Nous présentons un cadre visuel interactif nommé InternChat, ou iChat en abrégé. Ce cadre intègre des chatbots dotés de capacités de planification et de raisonnement, tels que ChatGPT, avec des instructions non verbales comme les mouvements de pointage qui permettent aux utilisateurs de manipuler directement des images ou des vidéos à l'écran. Les mouvements de pointage (y compris les gestes, les curseurs, etc.) offrent une plus grande flexibilité et précision dans l'exécution de tâches centrées sur la vision nécessitant un contrôle, une édition et une génération de contenu visuel à granularité fine. Le nom InternChat représente interaction, non verbal et chatbots. Contrairement aux systèmes interactifs existants qui reposent uniquement sur le langage, en incorporant des instructions de pointage, le iChat proposé améliore significativement l'efficacité de la communication entre les utilisateurs et les chatbots, ainsi que la précision des chatbots dans les tâches centrées sur la vision, en particulier dans des scénarios visuels complexes où le nombre d'objets est supérieur à 2. De plus, dans iChat, un mécanisme de contrôle auxiliaire est utilisé pour améliorer la capacité de contrôle des LLM, et un grand modèle vision-langage nommé Husky est affiné pour des dialogues multi-modaux de haute qualité (impressionnant ChatGPT-3.5-turbo avec 93,89 % de qualité GPT-4). Nous espérons que ce travail pourra inspirer de nouvelles idées et directions pour les futurs systèmes visuels interactifs. Bienvenue pour consulter le code sur https://github.com/OpenGVLab/InternChat.

English

We present an interactive visual framework named InternChat, or iChat for short. The framework integrates chatbots that have planning and reasoning capabilities, such as ChatGPT, with non-verbal instructions like pointing movements that enable users to directly manipulate images or videos on the screen. Pointing (including gestures, cursors, etc.) movements can provide more flexibility and precision in performing vision-centric tasks that require fine-grained control, editing, and generation of visual content. The name InternChat stands for interaction, nonverbal, and chatbots. Different from existing interactive systems that rely on pure language, by incorporating pointing instructions, the proposed iChat significantly improves the efficiency of communication between users and chatbots, as well as the accuracy of chatbots in vision-centric tasks, especially in complicated visual scenarios where the number of objects is greater than 2. Additionally, in iChat, an auxiliary control mechanism is used to improve the control capability of LLM, and a large vision-language model termed Husky is fine-tuned for high-quality multi-modal dialogue (impressing ChatGPT-3.5-turbo with 93.89% GPT-4 Quality). We hope this work can spark new ideas and directions for future interactive visual systems. Welcome to watch the code at https://github.com/OpenGVLab/InternChat.