StructLM: 구조화된 지식 기반을 위한 범용 모델 구축을 향하여

초록

테이블, 그래프, 데이터베이스와 같은 구조화된 데이터 소스는 어디서나 접할 수 있는 지식 원천입니다. 대규모 언어 모델(LLM)이 일반 텍스트에서 보여준 능력에도 불구하고, 구조화된 데이터를 해석하고 활용하는 데 있어서는 여전히 한계를 보입니다. 우리의 연구 결과, LLM의 구조화된 데이터 처리 능력에는 상당한 결함이 있음이 드러났습니다. 예를 들어, ChatGPT는 최신 기술(SoTA) 모델에 비해 평균 35% 뒤처지는 것으로 나타났습니다. LLM의 구조화된 지식 기반(Structured Knowledge Grounding, SKG) 능력을 강화하기 위해, 우리는 110만 개의 예시로 구성된 포괄적인 지시 튜닝 데이터셋을 개발했습니다. 이 데이터셋을 활용하여, Code-LLaMA 아키텍처를 기반으로 7B에서 34B 파라미터까지 다양한 크기의 StructLM 모델 시리즈를 학습시켰습니다. 우리의 StructLM 시리즈는 평가된 18개 데이터셋 중 14개에서 작업별 특화 모델을 능가했으며, 7개의 SKG 작업에서 새로운 SoTA 성과를 달성했습니다. 더 나아가, StructLM은 6개의 새로운 SKG 작업에서도 탁월한 일반화 능력을 보여주었습니다. 예상과는 달리, 모델 크기를 키우는 것이 미미한 이점만을 제공하는 것으로 관찰되었으며, StructLM-34B는 StructLM-7B에 비해 약간의 개선만을 보였습니다. 이는 구조화된 지식 기반 작업이 여전히 어려운 과제이며, 새로운 수준으로 끌어올리기 위해서는 더 혁신적인 설계가 필요함을 시사합니다.

English

Structured data sources, such as tables, graphs, and databases, are ubiquitous knowledge sources. Despite the demonstrated capabilities of large language models (LLMs) on plain text, their proficiency in interpreting and utilizing structured data remains limited. Our investigation reveals a notable deficiency in LLMs' ability to process structured data, e.g., ChatGPT lags behind state-of-the-art (SoTA) model by an average of 35%. To augment the Structured Knowledge Grounding (SKG) capabilities in LLMs, we have developed a comprehensive instruction tuning dataset comprising 1.1 million examples. Utilizing this dataset, we train a series of models, referred to as StructLM, based on the Code-LLaMA architecture, ranging from 7B to 34B parameters. Our StructLM series surpasses task-specific models on 14 out of 18 evaluated datasets and establishes new SoTA achievements on 7 SKG tasks. Furthermore, StructLM demonstrates exceptional generalization across 6 novel SKG tasks. Contrary to expectations, we observe that scaling model size offers marginal benefits, with StructLM-34B showing only slight improvements over StructLM-7B. This suggests that structured knowledge grounding is still a challenging task and requires more innovative design to push to a new level.

StructLM: 구조화된 지식 기반을 위한 범용 모델 구축을 향하여

StructLM: Towards Building Generalist Models for Structured Knowledge Grounding

초록

Support