StructLM: Op weg naar generalistische modellen voor het verankeren van gestructureerde kennis

Samenvatting

Gestructureerde gegevensbronnen, zoals tabellen, grafieken en databases, zijn alomtegenwoordige kennisbronnen. Ondanks de bewezen capaciteiten van grote taalmodellen (LLM's) op gewone tekst, blijft hun vaardigheid in het interpreteren en benutten van gestructureerde gegevens beperkt. Ons onderzoek toont een opvallend tekort aan in het vermogen van LLM's om gestructureerde gegevens te verwerken, waarbij ChatGPT bijvoorbeeld gemiddeld 35% achterblijft bij state-of-the-art (SoTA) modellen. Om de Structured Knowledge Grounding (SKG)-capaciteiten in LLM's te vergroten, hebben we een uitgebreide instructieafstemmingsdataset ontwikkeld die 1,1 miljoen voorbeelden omvat. Met behulp van deze dataset trainen we een reeks modellen, genaamd StructLM, gebaseerd op de Code-LLaMA-architectuur, variërend van 7B tot 34B parameters. Onze StructLM-serie overtreft taakspecifieke modellen op 14 van de 18 geëvalueerde datasets en vestigt nieuwe SoTA-prestaties op 7 SKG-taken. Bovendien toont StructLM een uitzonderlijke generalisatie over 6 nieuwe SKG-taken. In tegenstelling tot verwachtingen, merken we op dat het opschalen van de modelgrootte slechts marginale voordelen biedt, waarbij StructLM-34B slechts kleine verbeteringen laat zien ten opzichte van StructLM-7B. Dit suggereert dat gestructureerde kennisverankering nog steeds een uitdagende taak is en dat er meer innovatief ontwerp nodig is om naar een hoger niveau te tillen.

English

Structured data sources, such as tables, graphs, and databases, are ubiquitous knowledge sources. Despite the demonstrated capabilities of large language models (LLMs) on plain text, their proficiency in interpreting and utilizing structured data remains limited. Our investigation reveals a notable deficiency in LLMs' ability to process structured data, e.g., ChatGPT lags behind state-of-the-art (SoTA) model by an average of 35%. To augment the Structured Knowledge Grounding (SKG) capabilities in LLMs, we have developed a comprehensive instruction tuning dataset comprising 1.1 million examples. Utilizing this dataset, we train a series of models, referred to as StructLM, based on the Code-LLaMA architecture, ranging from 7B to 34B parameters. Our StructLM series surpasses task-specific models on 14 out of 18 evaluated datasets and establishes new SoTA achievements on 7 SKG tasks. Furthermore, StructLM demonstrates exceptional generalization across 6 novel SKG tasks. Contrary to expectations, we observe that scaling model size offers marginal benefits, with StructLM-34B showing only slight improvements over StructLM-7B. This suggests that structured knowledge grounding is still a challenging task and requires more innovative design to push to a new level.

StructLM: Op weg naar generalistische modellen voor het verankeren van gestructureerde kennis

StructLM: Towards Building Generalist Models for Structured Knowledge Grounding

Samenvatting

Support