StructLM: Auf dem Weg zur Entwicklung generalistischer Modelle für die Verankerung strukturierten Wissens
StructLM: Towards Building Generalist Models for Structured Knowledge Grounding
February 26, 2024
Autoren: Alex Zhuang, Ge Zhang, Tianyu Zheng, Xinrun Du, Junjie Wang, Weiming Ren, Stephen W. Huang, Jie Fu, Xiang Yue, Wenhu Chen
cs.AI
Zusammenfassung
Strukturierte Datenquellen wie Tabellen, Graphen und Datenbanken sind allgegenwärtige Wissensquellen. Trotz der nachgewiesenen Fähigkeiten großer Sprachmodelle (LLMs) im Umgang mit Klartext bleibt ihre Kompetenz bei der Interpretation und Nutzung strukturierter Daten begrenzt. Unsere Untersuchung zeigt eine bemerkenswerte Schwäche von LLMs bei der Verarbeitung strukturierter Daten; beispielsweise liegt ChatGPT im Durchschnitt 35 % hinter dem State-of-the-Art (SoTA)-Modell zurück. Um die Fähigkeiten von LLMs zur strukturierten Wissensverankerung (Structured Knowledge Grounding, SKG) zu verbessern, haben wir einen umfassenden Instruktions-Tuning-Datensatz mit 1,1 Millionen Beispielen entwickelt. Mit diesem Datensatz trainieren wir eine Reihe von Modellen, die als StructLM bezeichnet werden und auf der Code-LLaMA-Architektur basieren, mit Parametergrößen von 7B bis 34B. Unsere StructLM-Serie übertrifft aufgabenbezogene Modelle bei 14 von 18 evaluierten Datensätzen und setzt neue SoTA-Benchmarks bei 7 SKG-Aufgaben. Darüber hinaus zeigt StructLM eine außergewöhnliche Generalisierungsfähigkeit bei 6 neuartigen SKG-Aufgaben. Entgegen den Erwartungen stellen wir fest, dass die Skalierung der Modellgröße nur marginale Vorteile bietet, wobei StructLM-34B nur geringfügige Verbesserungen gegenüber StructLM-7B aufweist. Dies deutet darauf hin, dass die strukturierte Wissensverankerung nach wie vor eine anspruchsvolle Aufgabe ist und innovativere Ansätze erfordert, um auf ein neues Niveau gehoben zu werden.
English
Structured data sources, such as tables, graphs, and databases, are
ubiquitous knowledge sources. Despite the demonstrated capabilities of large
language models (LLMs) on plain text, their proficiency in interpreting and
utilizing structured data remains limited. Our investigation reveals a notable
deficiency in LLMs' ability to process structured data, e.g., ChatGPT lags
behind state-of-the-art (SoTA) model by an average of 35%. To augment the
Structured Knowledge Grounding (SKG) capabilities in LLMs, we have developed a
comprehensive instruction tuning dataset comprising 1.1 million examples.
Utilizing this dataset, we train a series of models, referred to as StructLM,
based on the Code-LLaMA architecture, ranging from 7B to 34B parameters. Our
StructLM series surpasses task-specific models on 14 out of 18 evaluated
datasets and establishes new SoTA achievements on 7 SKG tasks. Furthermore,
StructLM demonstrates exceptional generalization across 6 novel SKG tasks.
Contrary to expectations, we observe that scaling model size offers marginal
benefits, with StructLM-34B showing only slight improvements over StructLM-7B.
This suggests that structured knowledge grounding is still a challenging task
and requires more innovative design to push to a new level.