InternChat: Resolución de tareas centradas en visión mediante la interacción con chatbots más allá del lenguaje

InternChat: Solving Vision-Centric Tasks by Interacting with Chatbots Beyond Language

May 9, 2023

Autores: Zhaoyang Liu, Yinan He, Wenhai Wang, Weiyun Wang, Yi Wang, Shoufa Chen, Qinglong Zhang, Yang Yang, Qingyun Li, Jiashuo Yu, Kunchang Li, Zhe Chen, Xue Yang, Xizhou Zhu, Yali Wang, Limin Wang, Ping Luo, Jifeng Dai, Yu Qiao

cs.AI

Resumen

Presentamos un marco visual interactivo llamado InternChat, o iChat para abreviar. Este marco integra chatbots con capacidades de planificación y razonamiento, como ChatGPT, con instrucciones no verbales como movimientos de apuntar que permiten a los usuarios manipular directamente imágenes o videos en la pantalla. Los movimientos de apuntar (incluyendo gestos, cursores, etc.) pueden proporcionar mayor flexibilidad y precisión en la realización de tareas centradas en la visión que requieren control detallado, edición y generación de contenido visual. El nombre InternChat representa interacción, no verbal y chatbots. A diferencia de los sistemas interactivos existentes que dependen únicamente del lenguaje, al incorporar instrucciones de apuntar, el iChat propuesto mejora significativamente la eficiencia de la comunicación entre los usuarios y los chatbots, así como la precisión de los chatbots en tareas centradas en la visión, especialmente en escenarios visuales complejos donde el número de objetos es mayor que 2. Además, en iChat, se utiliza un mecanismo de control auxiliar para mejorar la capacidad de control del LLM, y se ajusta un gran modelo de visión-lenguaje llamado Husky para diálogos multimodales de alta calidad (impresionando a ChatGPT-3.5-turbo con un 93.89% de calidad GPT-4). Esperamos que este trabajo pueda inspirar nuevas ideas y direcciones para futuros sistemas visuales interactivos. Bienvenidos a ver el código en https://github.com/OpenGVLab/InternChat.

English

We present an interactive visual framework named InternChat, or iChat for short. The framework integrates chatbots that have planning and reasoning capabilities, such as ChatGPT, with non-verbal instructions like pointing movements that enable users to directly manipulate images or videos on the screen. Pointing (including gestures, cursors, etc.) movements can provide more flexibility and precision in performing vision-centric tasks that require fine-grained control, editing, and generation of visual content. The name InternChat stands for interaction, nonverbal, and chatbots. Different from existing interactive systems that rely on pure language, by incorporating pointing instructions, the proposed iChat significantly improves the efficiency of communication between users and chatbots, as well as the accuracy of chatbots in vision-centric tasks, especially in complicated visual scenarios where the number of objects is greater than 2. Additionally, in iChat, an auxiliary control mechanism is used to improve the control capability of LLM, and a large vision-language model termed Husky is fine-tuned for high-quality multi-modal dialogue (impressing ChatGPT-3.5-turbo with 93.89% GPT-4 Quality). We hope this work can spark new ideas and directions for future interactive visual systems. Welcome to watch the code at https://github.com/OpenGVLab/InternChat.