InternChat: Lösung visionzentrierter Aufgaben durch Interaktion mit Chatbots Jenseits der Sprache

InternChat: Solving Vision-Centric Tasks by Interacting with Chatbots Beyond Language

May 9, 2023

Autoren: Zhaoyang Liu, Yinan He, Wenhai Wang, Weiyun Wang, Yi Wang, Shoufa Chen, Qinglong Zhang, Yang Yang, Qingyun Li, Jiashuo Yu, Kunchang Li, Zhe Chen, Xue Yang, Xizhou Zhu, Yali Wang, Limin Wang, Ping Luo, Jifeng Dai, Yu Qiao

cs.AI

Zusammenfassung

Wir präsentieren ein interaktives visuelles Framework namens InternChat, kurz iChat. Das Framework integriert Chatbots mit Planungs- und Denkfähigkeiten, wie ChatGPT, mit nonverbalen Anweisungen wie Zeigebewegungen, die es Benutzern ermöglichen, Bilder oder Videos direkt auf dem Bildschirm zu manipulieren. Zeigebewegungen (einschließlich Gesten, Cursor usw.) können mehr Flexibilität und Präzision bei der Ausführung von visuell zentrierten Aufgaben bieten, die eine fein abgestimmte Kontrolle, Bearbeitung und Erstellung von visuellen Inhalten erfordern. Der Name InternChat steht für Interaktion, Nonverbal und Chatbots. Im Gegensatz zu bestehenden interaktiven Systemen, die ausschließlich auf Sprache basieren, verbessert das vorgeschlagene iChat durch die Einbindung von Zeigeanweisungen die Effizienz der Kommunikation zwischen Benutzern und Chatbots sowie die Genauigkeit der Chatbots bei visuell zentrierten Aufgaben, insbesondere in komplexen visuellen Szenarien, in denen die Anzahl der Objekte größer als 2 ist. Zusätzlich wird in iChat ein unterstützendes Kontrollmechanismus verwendet, um die Steuerungsfähigkeit von LLM zu verbessern, und ein großes Vision-Sprache-Modell namens Husky wird für hochwertigen multimodalen Dialog feinabgestimmt (beeindruckt ChatGPT-3.5-turbo mit 93,89 % GPT-4-Qualität). Wir hoffen, dass diese Arbeit neue Ideen und Richtungen für zukünftige interaktive visuelle Systeme anregen kann. Willkommen, den Code unter https://github.com/OpenGVLab/InternChat zu betrachten.

English

We present an interactive visual framework named InternChat, or iChat for short. The framework integrates chatbots that have planning and reasoning capabilities, such as ChatGPT, with non-verbal instructions like pointing movements that enable users to directly manipulate images or videos on the screen. Pointing (including gestures, cursors, etc.) movements can provide more flexibility and precision in performing vision-centric tasks that require fine-grained control, editing, and generation of visual content. The name InternChat stands for interaction, nonverbal, and chatbots. Different from existing interactive systems that rely on pure language, by incorporating pointing instructions, the proposed iChat significantly improves the efficiency of communication between users and chatbots, as well as the accuracy of chatbots in vision-centric tasks, especially in complicated visual scenarios where the number of objects is greater than 2. Additionally, in iChat, an auxiliary control mechanism is used to improve the control capability of LLM, and a large vision-language model termed Husky is fine-tuned for high-quality multi-modal dialogue (impressing ChatGPT-3.5-turbo with 93.89% GPT-4 Quality). We hope this work can spark new ideas and directions for future interactive visual systems. Welcome to watch the code at https://github.com/OpenGVLab/InternChat.