Konfigurierbare Grundmodelle: Aufbau von LLMs aus modularem Blickwinkel

Configurable Foundation Models: Building LLMs from a Modular Perspective

September 4, 2024

Autoren: Chaojun Xiao, Zhengyan Zhang, Chenyang Song, Dazhi Jiang, Feng Yao, Xu Han, Xiaozhi Wang, Shuo Wang, Yufei Huang, Guanyu Lin, Yingfa Chen, Weilin Zhao, Yuge Tu, Zexuan Zhong, Ao Zhang, Chenglei Si, Khai Hao Moo, Chenyang Zhao, Huimin Chen, Yankai Lin, Zhiyuan Liu, Jingbo Shang, Maosong Sun

cs.AI

Zusammenfassung

Fortschritte bei LLMs haben kürzlich Herausforderungen im Zusammenhang mit Rechenleistung und kontinuierlicher Skalierbarkeit aufgedeckt, aufgrund ihrer Anforderungen an riesige Parameter, was die Anwendungen und die Entwicklung dieser Modelle auf Geräten mit begrenzten Rechenressourcen und in Szenarien, die verschiedene Fähigkeiten erfordern, zunehmend umständlich macht. Inspiriert von der Modularität im menschlichen Gehirn gibt es einen wachsenden Trend, LLMs in zahlreiche funktionale Module zu zerlegen, um Inferenzen mit Teilen von Modulen und die dynamische Zusammenstellung von Modulen zur Bewältigung komplexer Aufgaben, wie Mischung-von-Experten, zu ermöglichen. Um die inhärente Effizienz und Komponierbarkeit des modularen Ansatzes hervorzuheben, prägen wir den Begriff "Brick", um jedes funktionale Modul zu repräsentieren, und bezeichnen die modularisierte Struktur als konfigurierbare Grundlagenmodelle. In diesem Papier bieten wir einen umfassenden Überblick und eine Untersuchung des Aufbaus, der Nutzung und der Einschränkungen konfigurierbarer Grundlagenmodelle. Wir formalisieren zunächst Module in aufkommende Bricks - funktionale Neuronenpartitionen, die während der Vor-Trainingsphase entstehen, und angepasste Bricks - Bricks, die durch zusätzliches Post-Training konstruiert werden, um die Fähigkeiten und das Wissen von LLMs zu verbessern. Basierend auf verschiedenen funktionalen Bricks präsentieren wir vier brick-orientierte Operationen: Abruf und Routing, Zusammenführen, Aktualisieren und Wachsen. Diese Operationen ermöglichen eine dynamische Konfiguration von LLMs basierend auf Anweisungen zur Bewältigung komplexer Aufgaben. Zur Überprüfung unserer Perspektive führen wir eine empirische Analyse an weit verbreiteten LLMs durch. Wir stellen fest, dass die FFN-Schichten modulare Muster mit funktionaler Spezialisierung von Neuronen und funktionalen Neuronenpartitionen aufweisen. Schließlich heben wir mehrere offene Fragen und Richtungen für zukünftige Forschung hervor. Insgesamt zielt dieses Papier darauf ab, eine frische modulare Perspektive auf bestehende LLM-Forschung zu bieten und die zukünftige Schaffung effizienterer und skalierbarer Grundlagenmodelle zu inspirieren.

English

Advancements in LLMs have recently unveiled challenges tied to computational efficiency and continual scalability due to their requirements of huge parameters, making the applications and evolution of these models on devices with limited computation resources and scenarios requiring various abilities increasingly cumbersome. Inspired by modularity within the human brain, there is a growing tendency to decompose LLMs into numerous functional modules, allowing for inference with part of modules and dynamic assembly of modules to tackle complex tasks, such as mixture-of-experts. To highlight the inherent efficiency and composability of the modular approach, we coin the term brick to represent each functional module, designating the modularized structure as configurable foundation models. In this paper, we offer a comprehensive overview and investigation of the construction, utilization, and limitation of configurable foundation models. We first formalize modules into emergent bricks - functional neuron partitions that emerge during the pre-training phase, and customized bricks - bricks constructed via additional post-training to improve the capabilities and knowledge of LLMs. Based on diverse functional bricks, we further present four brick-oriented operations: retrieval and routing, merging, updating, and growing. These operations allow for dynamic configuration of LLMs based on instructions to handle complex tasks. To verify our perspective, we conduct an empirical analysis on widely-used LLMs. We find that the FFN layers follow modular patterns with functional specialization of neurons and functional neuron partitions. Finally, we highlight several open issues and directions for future research. Overall, this paper aims to offer a fresh modular perspective on existing LLM research and inspire the future creation of more efficient and scalable foundational models.