InternChat: Risolvere compiti centrati sulla visione interagendo con chatbot Oltre il linguaggio

InternChat: Solving Vision-Centric Tasks by Interacting with Chatbots Beyond Language

May 9, 2023

Autori: Zhaoyang Liu, Yinan He, Wenhai Wang, Weiyun Wang, Yi Wang, Shoufa Chen, Qinglong Zhang, Yang Yang, Qingyun Li, Jiashuo Yu, Kunchang Li, Zhe Chen, Xue Yang, Xizhou Zhu, Yali Wang, Limin Wang, Ping Luo, Jifeng Dai, Yu Qiao

cs.AI

Abstract

Presentiamo un framework visivo interattivo denominato InternChat, o iChat in breve. Il framework integra chatbot dotati di capacità di pianificazione e ragionamento, come ChatGPT, con istruzioni non verbali come movimenti di puntamento che consentono agli utenti di manipolare direttamente immagini o video sullo schermo. I movimenti di puntamento (inclusi gesti, cursori, ecc.) possono offrire maggiore flessibilità e precisione nell'esecuzione di task incentrati sulla visione che richiedono un controllo fine, l'editing e la generazione di contenuti visivi. Il nome InternChat sta per interazione, non verbale e chatbot. A differenza dei sistemi interattivi esistenti che si basano esclusivamente sul linguaggio, incorporando istruzioni di puntamento, il proposto iChat migliora significativamente l'efficienza della comunicazione tra utenti e chatbot, nonché l'accuratezza dei chatbot nei task incentrati sulla visione, specialmente in scenari visivi complessi in cui il numero di oggetti è maggiore di 2. Inoltre, in iChat, viene utilizzato un meccanismo di controllo ausiliario per migliorare la capacità di controllo del LLM, e un grande modello visione-linguaggio denominato Husky viene fine-tuned per dialoghi multimodali di alta qualità (impressionando ChatGPT-3.5-turbo con il 93,89% della qualità di GPT-4). Speriamo che questo lavoro possa stimolare nuove idee e direzioni per i futuri sistemi visivi interattivi. Benvenuti a visionare il codice all'indirizzo https://github.com/OpenGVLab/InternChat.

English

We present an interactive visual framework named InternChat, or iChat for short. The framework integrates chatbots that have planning and reasoning capabilities, such as ChatGPT, with non-verbal instructions like pointing movements that enable users to directly manipulate images or videos on the screen. Pointing (including gestures, cursors, etc.) movements can provide more flexibility and precision in performing vision-centric tasks that require fine-grained control, editing, and generation of visual content. The name InternChat stands for interaction, nonverbal, and chatbots. Different from existing interactive systems that rely on pure language, by incorporating pointing instructions, the proposed iChat significantly improves the efficiency of communication between users and chatbots, as well as the accuracy of chatbots in vision-centric tasks, especially in complicated visual scenarios where the number of objects is greater than 2. Additionally, in iChat, an auxiliary control mechanism is used to improve the control capability of LLM, and a large vision-language model termed Husky is fine-tuned for high-quality multi-modal dialogue (impressing ChatGPT-3.5-turbo with 93.89% GPT-4 Quality). We hope this work can spark new ideas and directions for future interactive visual systems. Welcome to watch the code at https://github.com/OpenGVLab/InternChat.