InternChat: Решение задач, ориентированных на зрение, через взаимодействие с чат-ботами за пределами языка
InternChat: Solving Vision-Centric Tasks by Interacting with Chatbots Beyond Language
May 9, 2023
Авторы: Zhaoyang Liu, Yinan He, Wenhai Wang, Weiyun Wang, Yi Wang, Shoufa Chen, Qinglong Zhang, Yang Yang, Qingyun Li, Jiashuo Yu, Kunchang Li, Zhe Chen, Xue Yang, Xizhou Zhu, Yali Wang, Limin Wang, Ping Luo, Jifeng Dai, Yu Qiao
cs.AI
Аннотация
Мы представляем интерактивную визуальную платформу под названием InternChat, или сокращенно iChat. Эта платформа интегрирует чат-боты с возможностями планирования и логического рассуждения, такие как ChatGPT, с невербальными инструкциями, такими как указывающие движения, которые позволяют пользователям напрямую управлять изображениями или видео на экране. Указывающие движения (включая жесты, курсоры и т.д.) обеспечивают большую гибкость и точность при выполнении задач, ориентированных на визуальное восприятие, которые требуют детального управления, редактирования и создания визуального контента. Название InternChat расшифровывается как взаимодействие (interaction), невербальные инструкции (nonverbal) и чат-боты (chatbots). В отличие от существующих интерактивных систем, которые полагаются исключительно на язык, включение указывающих инструкций в iChat значительно повышает эффективность коммуникации между пользователями и чат-ботами, а также точность выполнения чат-ботами задач, связанных с визуальным восприятием, особенно в сложных визуальных сценариях, где количество объектов превышает два. Кроме того, в iChat используется вспомогательный механизм управления для улучшения управляемости крупных языковых моделей (LLM), а также дорабатывается крупная визуально-языковая модель под названием Husky для высококачественного мультимодального диалога (превосходя ChatGPT-3.5-turbo с качеством 93.89% от GPT-4). Мы надеемся, что эта работа вдохновит на новые идеи и направления для будущих интерактивных визуальных систем. Приглашаем ознакомиться с кодом по адресу https://github.com/OpenGVLab/InternChat.
English
We present an interactive visual framework named InternChat, or iChat for
short. The framework integrates chatbots that have planning and reasoning
capabilities, such as ChatGPT, with non-verbal instructions like pointing
movements that enable users to directly manipulate images or videos on the
screen. Pointing (including gestures, cursors, etc.) movements can provide more
flexibility and precision in performing vision-centric tasks that require
fine-grained control, editing, and generation of visual content. The name
InternChat stands for interaction, nonverbal, and chatbots. Different from
existing interactive systems that rely on pure language, by incorporating
pointing instructions, the proposed iChat significantly improves the efficiency
of communication between users and chatbots, as well as the accuracy of
chatbots in vision-centric tasks, especially in complicated visual scenarios
where the number of objects is greater than 2. Additionally, in iChat, an
auxiliary control mechanism is used to improve the control capability of LLM,
and a large vision-language model termed Husky is fine-tuned for high-quality
multi-modal dialogue (impressing ChatGPT-3.5-turbo with 93.89% GPT-4 Quality).
We hope this work can spark new ideas and directions for future interactive
visual systems. Welcome to watch the code at
https://github.com/OpenGVLab/InternChat.