Q-Instruct: Улучшение базовых визуальных способностей для мультимодальных фундаментальных моделей

Q-Instruct: Improving Low-level Visual Abilities for Multi-modality Foundation Models

November 12, 2023

Авторы: Haoning Wu, Zicheng Zhang, Erli Zhang, Chaofeng Chen, Liang Liao, Annan Wang, Kaixin Xu, Chunyi Li, Jingwen Hou, Guangtao Zhai, Geng Xue, Wenxiu Sun, Qiong Yan, Weisi Lin

cs.AI

Аннотация

Мультимодальные базовые модели, представленные GPT-4V, открыли новую парадигму для задач низкоуровневого визуального восприятия и понимания, способных реагировать на широкий спектр естественных человеческих инструкций в рамках модели. Хотя существующие базовые модели продемонстрировали впечатляющий потенциал в задачах низкоуровневого зрения, их соответствующие способности остаются предварительными и требуют улучшения. Для повышения качества этих моделей мы провели масштабный субъективный эксперимент, собрав большое количество реальных отзывов людей о низкоуровневом зрении. Каждый отзыв следует пути, который начинается с подробного описания низкоуровневого визуального восприятия (*например, четкость, цвет, яркость* изображения) и заканчивается общим выводом, со средней длиной в 45 слов. Созданный набор данных **Q-Pathway** включает 58 тысяч подробных человеческих отзывов на 18 973 изображения с разнообразным низкоуровневым восприятием. Более того, чтобы базовые модели могли устойчиво реагировать на различные типы вопросов, мы разработали процесс преобразования с участием GPT, который превращает эти отзывы в 200 тысяч пар "инструкция-ответ" в разнообразных форматах. Результаты экспериментов показывают, что **Q-Instruct** последовательно повышает способности низкоуровневого восприятия и понимания в нескольких базовых моделях. Мы ожидаем, что наши наборы данных проложат путь к будущему, в котором общий интеллект сможет воспринимать, понимать низкоуровневое визуальное восприятие и оценивать качество изображений, как это делает человек. Наши наборы данных, модель и демонстрация опубликованы по адресу: https://q-future.github.io/Q-Instruct.

English

Multi-modality foundation models, as represented by GPT-4V, have brought a new paradigm for low-level visual perception and understanding tasks, that can respond to a broad range of natural human instructions in a model. While existing foundation models have shown exciting potentials on low-level visual tasks, their related abilities are still preliminary and need to be improved. In order to enhance these models, we conduct a large-scale subjective experiment collecting a vast number of real human feedbacks on low-level vision. Each feedback follows a pathway that starts with a detailed description on the low-level visual appearance (*e.g. clarity, color, brightness* of an image, and ends with an overall conclusion, with an average length of 45 words. The constructed **Q-Pathway** dataset includes 58K detailed human feedbacks on 18,973 images with diverse low-level appearance. Moreover, to enable foundation models to robustly respond to diverse types of questions, we design a GPT-participated conversion to process these feedbacks into diverse-format 200K instruction-response pairs. Experimental results indicate that the **Q-Instruct** consistently elevates low-level perception and understanding abilities across several foundational models. We anticipate that our datasets can pave the way for a future that general intelligence can perceive, understand low-level visual appearance and evaluate visual quality like a human. Our dataset, model zoo, and demo is published at: https://q-future.github.io/Q-Instruct.