Q-Instruct: Verbesserung der visuellen Fähigkeiten auf niedriger Ebene für Multi-Modalitäts-Foundation-Modelle

Q-Instruct: Improving Low-level Visual Abilities for Multi-modality Foundation Models

November 12, 2023

Autoren: Haoning Wu, Zicheng Zhang, Erli Zhang, Chaofeng Chen, Liang Liao, Annan Wang, Kaixin Xu, Chunyi Li, Jingwen Hou, Guangtao Zhai, Geng Xue, Wenxiu Sun, Qiong Yan, Weisi Lin

cs.AI

Zusammenfassung

Multimodale Basismodelle, wie sie durch GPT-4V repräsentiert werden, haben ein neues Paradigma für Aufgaben der niedrigstufigen visuellen Wahrnehmung und des Verständnisses geschaffen, die auf eine breite Palette natürlicher menschlicher Anweisungen in einem Modell reagieren können. Obwohl bestehende Basismodelle bereits vielversprechende Potenziale bei niedrigstufigen visuellen Aufgaben gezeigt haben, sind ihre diesbezüglichen Fähigkeiten noch vorläufig und müssen verbessert werden. Um diese Modelle zu erweitern, führen wir ein groß angelegtes subjektives Experiment durch, bei dem eine Vielzahl echter menschlicher Rückmeldungen zur niedrigstufigen visuellen Wahrnehmung gesammelt wird. Jede Rückmeldung folgt einem Pfad, der mit einer detaillierten Beschreibung des niedrigstufigen visuellen Erscheinungsbildes (*z.B. Klarheit, Farbe, Helligkeit* eines Bildes) beginnt und mit einer Gesamtbewertung endet, wobei die durchschnittliche Länge 45 Wörter beträgt. Der konstruierte **Q-Pathway**-Datensatz umfasst 58.000 detaillierte menschliche Rückmeldungen zu 18.973 Bildern mit vielfältigem niedrigstufigem Erscheinungsbild. Darüber hinaus entwerfen wir eine GPT-beteiligte Konvertierung, um diese Rückmeldungen in 200.000 Anweisungs-Antwort-Paare in verschiedenen Formaten zu verarbeiten, damit Basismodelle robust auf unterschiedliche Fragestellungen reagieren können. Experimentelle Ergebnisse zeigen, dass **Q-Instruct** die Fähigkeiten zur niedrigstufigen Wahrnehmung und zum Verständnis bei mehreren Basismodellen konsequent verbessert. Wir gehen davon aus, dass unsere Datensätze den Weg für eine Zukunft ebnen können, in der allgemeine Intelligenz niedrigstufige visuelle Erscheinungen wahrnehmen, verstehen und die visuelle Qualität wie ein Mensch bewerten kann. Unser Datensatz, das Modellarchiv und die Demo sind unter https://q-future.github.io/Q-Instruct veröffentlicht.

English

Multi-modality foundation models, as represented by GPT-4V, have brought a new paradigm for low-level visual perception and understanding tasks, that can respond to a broad range of natural human instructions in a model. While existing foundation models have shown exciting potentials on low-level visual tasks, their related abilities are still preliminary and need to be improved. In order to enhance these models, we conduct a large-scale subjective experiment collecting a vast number of real human feedbacks on low-level vision. Each feedback follows a pathway that starts with a detailed description on the low-level visual appearance (*e.g. clarity, color, brightness* of an image, and ends with an overall conclusion, with an average length of 45 words. The constructed **Q-Pathway** dataset includes 58K detailed human feedbacks on 18,973 images with diverse low-level appearance. Moreover, to enable foundation models to robustly respond to diverse types of questions, we design a GPT-participated conversion to process these feedbacks into diverse-format 200K instruction-response pairs. Experimental results indicate that the **Q-Instruct** consistently elevates low-level perception and understanding abilities across several foundational models. We anticipate that our datasets can pave the way for a future that general intelligence can perceive, understand low-level visual appearance and evaluate visual quality like a human. Our dataset, model zoo, and demo is published at: https://q-future.github.io/Q-Instruct.