InternChat: Visiegerichte taken oplossen door interactie met chatbots Voorbij taal

InternChat: Solving Vision-Centric Tasks by Interacting with Chatbots Beyond Language

May 9, 2023

Auteurs: Zhaoyang Liu, Yinan He, Wenhai Wang, Weiyun Wang, Yi Wang, Shoufa Chen, Qinglong Zhang, Yang Yang, Qingyun Li, Jiashuo Yu, Kunchang Li, Zhe Chen, Xue Yang, Xizhou Zhu, Yali Wang, Limin Wang, Ping Luo, Jifeng Dai, Yu Qiao

cs.AI

Samenvatting

We presenteren een interactief visueel framework genaamd InternChat, of kortweg iChat. Het framework integreert chatbots met plannings- en redeneervaardigheden, zoals ChatGPT, met non-verbale instructies zoals wijsbewegingen die gebruikers in staat stellen om afbeeldingen of video's direct op het scherm te manipuleren. Wijsbewegingen (inclusief gebaren, cursors, etc.) kunnen meer flexibiliteit en precisie bieden bij het uitvoeren van visiegerichte taken die fijnmazige controle, bewerking en generatie van visuele inhoud vereisen. De naam InternChat staat voor interactie, non-verbaal en chatbots. In tegenstelling tot bestaande interactieve systemen die puur op taal vertrouwen, verbetert de voorgestelde iChat door het opnemen van wijsinstructies de efficiëntie van communicatie tussen gebruikers en chatbots aanzienlijk, evenals de nauwkeurigheid van chatbots bij visiegerichte taken, vooral in complexe visuele scenario's waar het aantal objecten groter is dan 2. Daarnaast wordt in iChat een hulpcontrolemechanisme gebruikt om de controlecapaciteit van LLM te verbeteren, en is een groot visie-taalmodel genaamd Husky afgestemd voor hoogwaardige multi-modale dialoog (dat ChatGPT-3.5-turbo imponeert met 93,89% GPT-4-kwaliteit). We hopen dat dit werk nieuwe ideeën en richtingen kan inspireren voor toekomstige interactieve visuele systemen. Welkom om de code te bekijken op https://github.com/OpenGVLab/InternChat.

English

We present an interactive visual framework named InternChat, or iChat for short. The framework integrates chatbots that have planning and reasoning capabilities, such as ChatGPT, with non-verbal instructions like pointing movements that enable users to directly manipulate images or videos on the screen. Pointing (including gestures, cursors, etc.) movements can provide more flexibility and precision in performing vision-centric tasks that require fine-grained control, editing, and generation of visual content. The name InternChat stands for interaction, nonverbal, and chatbots. Different from existing interactive systems that rely on pure language, by incorporating pointing instructions, the proposed iChat significantly improves the efficiency of communication between users and chatbots, as well as the accuracy of chatbots in vision-centric tasks, especially in complicated visual scenarios where the number of objects is greater than 2. Additionally, in iChat, an auxiliary control mechanism is used to improve the control capability of LLM, and a large vision-language model termed Husky is fine-tuned for high-quality multi-modal dialogue (impressing ChatGPT-3.5-turbo with 93.89% GPT-4 Quality). We hope this work can spark new ideas and directions for future interactive visual systems. Welcome to watch the code at https://github.com/OpenGVLab/InternChat.