X-LLM: Geavanceerde grote taalmodellen opstarten door multimodale gegevens als vreemde talen te behandelen

X-LLM: Bootstrapping Advanced Large Language Models by Treating Multi-Modalities as Foreign Languages

May 7, 2023

Auteurs: Feilong Chen, Minglun Han, Haozhi Zhao, Qingyang Zhang, Jing Shi, Shuang Xu, Bo Xu

cs.AI

Samenvatting

Grote taalmodellen (LLM's) hebben opmerkelijke taalvaardigheden getoond. GPT-4, gebaseerd op geavanceerde LLM's, vertoont buitengewone multimodale capaciteiten die verder gaan dan eerdere visuele taalmodellen. Wij schrijven dit toe aan het gebruik van meer geavanceerde LLM's in vergelijking met eerdere multimodale modellen. Helaas zijn de modelarchitectuur en trainingsstrategieën van GPT-4 onbekend. Om LLM's multimodale capaciteiten te geven, stellen wij X-LLM voor, dat multimodale informatie (afbeeldingen, spraak, video's) omzet in vreemde talen met behulp van X2L-interfaces en deze invoert in een groot taalmodel (ChatGLM). Specifiek aligneert X-LLM meerdere bevroren enkelvoudige modale encoders en een bevroren LLM met behulp van X2L-interfaces, waarbij ``X'' multimodale informatie zoals afbeeldingen, spraak en video's vertegenwoordigt, en ``L'' talen. De training van X-LLM bestaat uit drie fasen: (1) Omzetten van multimodale informatie: In de eerste fase wordt elke X2L-interface afzonderlijk getraind om zich af te stemmen op de bijbehorende enkelvoudige modale encoder om multimodale informatie om te zetten in talen. (2) Afstemmen van X2L-representaties op de LLM: enkelvoudige modale encoders worden onafhankelijk van elkaar afgestemd op de LLM via X2L-interfaces. (3) Integreren van meerdere modaliteiten: alle enkelvoudige modale encoders worden afgestemd op de LLM via X2L-interfaces om multimodale capaciteiten in de LLM te integreren. Onze experimenten tonen aan dat X-LLM indrukwekkende multimodale chatvaardigheden vertoont, soms gedrag vertoont dat lijkt op multimodale GPT-4 bij ongeziene afbeeldingen/instructies, en een relatieve score van 84,5\% behaalt in vergelijking met GPT-4 op een synthetische multimodale instructievolgdataset. Daarnaast voeren wij kwantitatieve tests uit op het gebruik van LLM voor ASR en multimodale ASR, in de hoop het tijdperk van LLM-gebaseerde spraakherkenning te bevorderen.

English

Large language models (LLMs) have demonstrated remarkable language abilities. GPT-4, based on advanced LLMs, exhibits extraordinary multimodal capabilities beyond previous visual language models. We attribute this to the use of more advanced LLMs compared with previous multimodal models. Unfortunately, the model architecture and training strategies of GPT-4 are unknown. To endow LLMs with multimodal capabilities, we propose X-LLM, which converts Multi-modalities (images, speech, videos) into foreign languages using X2L interfaces and inputs them into a large Language model (ChatGLM). Specifically, X-LLM aligns multiple frozen single-modal encoders and a frozen LLM using X2L interfaces, where ``X'' denotes multi-modalities such as image, speech, and videos, and ``L'' denotes languages. X-LLM's training consists of three stages: (1) Converting Multimodal Information: The first stage trains each X2L interface to align with its respective single-modal encoder separately to convert multimodal information into languages. (2) Aligning X2L representations with the LLM: single-modal encoders are aligned with the LLM through X2L interfaces independently. (3) Integrating multiple modalities: all single-modal encoders are aligned with the LLM through X2L interfaces to integrate multimodal capabilities into the LLM. Our experiments show that X-LLM demonstrates impressive multimodel chat abilities, sometimes exhibiting the behaviors of multimodal GPT-4 on unseen images/instructions, and yields a 84.5\% relative score compared with GPT-4 on a synthetic multimodal instruction-following dataset. And we also conduct quantitative tests on using LLM for ASR and multimodal ASR, hoping to promote the era of LLM-based speech recognition.