InternChat: Resolvendo Tarefas Centradas em Visão por meio da Interação com Chatbots Além da Linguagem

InternChat: Solving Vision-Centric Tasks by Interacting with Chatbots Beyond Language

May 9, 2023

Autores: Zhaoyang Liu, Yinan He, Wenhai Wang, Weiyun Wang, Yi Wang, Shoufa Chen, Qinglong Zhang, Yang Yang, Qingyun Li, Jiashuo Yu, Kunchang Li, Zhe Chen, Xue Yang, Xizhou Zhu, Yali Wang, Limin Wang, Ping Luo, Jifeng Dai, Yu Qiao

cs.AI

Resumo

Apresentamos um framework visual interativo chamado InternChat, ou iChat para abreviar. O framework integra chatbots com capacidades de planejamento e raciocínio, como o ChatGPT, com instruções não verbais, como movimentos de apontar, que permitem aos usuários manipular diretamente imagens ou vídeos na tela. Movimentos de apontar (incluindo gestos, cursores, etc.) podem oferecer mais flexibilidade e precisão na execução de tarefas centradas em visão que exigem controle refinado, edição e geração de conteúdo visual. O nome InternChat representa interação, não verbal e chatbots. Diferente dos sistemas interativos existentes que dependem apenas de linguagem, ao incorporar instruções de apontar, o iChat proposto melhora significativamente a eficiência da comunicação entre usuários e chatbots, bem como a precisão dos chatbots em tarefas centradas em visão, especialmente em cenários visuais complexos onde o número de objetos é maior que 2. Além disso, no iChat, um mecanismo de controle auxiliar é utilizado para melhorar a capacidade de controle do LLM, e um grande modelo de visão e linguagem chamado Husky é ajustado para diálogos multimodais de alta qualidade (impressionando o ChatGPT-3.5-turbo com 93,89% da qualidade do GPT-4). Esperamos que este trabalho possa inspirar novas ideias e direções para futuros sistemas visuais interativos. Seja bem-vindo para conferir o código em https://github.com/OpenGVLab/InternChat.

English

We present an interactive visual framework named InternChat, or iChat for short. The framework integrates chatbots that have planning and reasoning capabilities, such as ChatGPT, with non-verbal instructions like pointing movements that enable users to directly manipulate images or videos on the screen. Pointing (including gestures, cursors, etc.) movements can provide more flexibility and precision in performing vision-centric tasks that require fine-grained control, editing, and generation of visual content. The name InternChat stands for interaction, nonverbal, and chatbots. Different from existing interactive systems that rely on pure language, by incorporating pointing instructions, the proposed iChat significantly improves the efficiency of communication between users and chatbots, as well as the accuracy of chatbots in vision-centric tasks, especially in complicated visual scenarios where the number of objects is greater than 2. Additionally, in iChat, an auxiliary control mechanism is used to improve the control capability of LLM, and a large vision-language model termed Husky is fine-tuned for high-quality multi-modal dialogue (impressing ChatGPT-3.5-turbo with 93.89% GPT-4 Quality). We hope this work can spark new ideas and directions for future interactive visual systems. Welcome to watch the code at https://github.com/OpenGVLab/InternChat.