CogVLM: Visueller Experte für vortrainierte Sprachmodelle

CogVLM: Visual Expert for Pretrained Language Models

November 6, 2023

Autoren: Weihan Wang, Qingsong Lv, Wenmeng Yu, Wenyi Hong, Ji Qi, Yan Wang, Junhui Ji, Zhuoyi Yang, Lei Zhao, Xixuan Song, Jiazheng Xu, Bin Xu, Juanzi Li, Yuxiao Dong, Ming Ding, Jie Tang

cs.AI

Zusammenfassung

Wir stellen CogVLM vor, ein leistungsstarkes Open-Source-Visual-Language-Foundation-Modell. Im Gegensatz zur weit verbreiteten Methode der flachen Ausrichtung, bei der Bildmerkmale in den Eingaberaum des Sprachmodells abgebildet werden, überbrückt CogVLM die Lücke zwischen dem eingefrorenen vortrainierten Sprachmodell und dem Bildencoder durch ein trainierbares visuelles Expertenmodul in den Attention- und FFN-Schichten. Dadurch ermöglicht CogVLM eine tiefe Fusion von visuellen und sprachlichen Merkmalen, ohne dabei die Leistung bei NLP-Aufgaben zu beeinträchtigen. CogVLM-17B erzielt state-of-the-art Ergebnisse auf 10 klassischen Cross-Modal-Benchmarks, darunter NoCaps, Flicker30k Captioning, RefCOCO, RefCOCO+, RefCOCOg, Visual7W, GQA, ScienceQA, VizWiz VQA und TDIUC, und belegt den 2. Platz bei VQAv2, OKVQA, TextVQA, COCO Captioning usw., wobei es PaLI-X 55B übertrifft oder gleichauf liegt. Codes und Checkpoints sind unter https://github.com/THUDM/CogVLM verfügbar.

English

We introduce CogVLM, a powerful open-source visual language foundation model. Different from the popular shallow alignment method which maps image features into the input space of language model, CogVLM bridges the gap between the frozen pretrained language model and image encoder by a trainable visual expert module in the attention and FFN layers. As a result, CogVLM enables deep fusion of vision language features without sacrificing any performance on NLP tasks. CogVLM-17B achieves state-of-the-art performance on 10 classic cross-modal benchmarks, including NoCaps, Flicker30k captioning, RefCOCO, RefCOCO+, RefCOCOg, Visual7W, GQA, ScienceQA, VizWiz VQA and TDIUC, and ranks the 2nd on VQAv2, OKVQA, TextVQA, COCO captioning, etc., surpassing or matching PaLI-X 55B. Codes and checkpoints are available at https://github.com/THUDM/CogVLM.