StructLM: На пути к созданию универсальных моделей для работы со структурированными знаниями

StructLM: Towards Building Generalist Models for Structured Knowledge Grounding

February 26, 2024

Авторы: Alex Zhuang, Ge Zhang, Tianyu Zheng, Xinrun Du, Junjie Wang, Weiming Ren, Stephen W. Huang, Jie Fu, Xiang Yue, Wenhu Chen

cs.AI

Аннотация

Структурированные источники данных, такие как таблицы, графики и базы данных, являются повсеместно распространёнными источниками знаний. Несмотря на продемонстрированные возможности крупных языковых моделей (LLM) в работе с обычным текстом, их способность интерпретировать и использовать структурированные данные остаётся ограниченной. Наше исследование выявило значительный недостаток в умении LLM обрабатывать структурированные данные: например, ChatGPT отстаёт от современных моделей (SoTA) в среднем на 35%. Для улучшения способности LLM к обработке структурированных знаний (Structured Knowledge Grounding, SKG) мы разработали обширный набор данных для настройки инструкций, содержащий 1,1 миллиона примеров. Используя этот набор данных, мы обучили серию моделей, названных StructLM, основанных на архитектуре Code-LLaMA, с количеством параметров от 7B до 34B. Наша серия StructLM превосходит специализированные модели на 14 из 18 оцениваемых наборов данных и устанавливает новые рекорды SoTA на 7 задачах SKG. Кроме того, StructLM демонстрирует исключительную способность к обобщению на 6 новых задачах SKG. Вопреки ожиданиям, мы наблюдаем, что увеличение размера модели приносит лишь незначительные преимущества: StructLM-34B показывает лишь небольшие улучшения по сравнению с StructLM-7B. Это говорит о том, что обработка структурированных знаний по-прежнему остаётся сложной задачей и требует более инновационных решений для выхода на новый уровень.

English

Structured data sources, such as tables, graphs, and databases, are ubiquitous knowledge sources. Despite the demonstrated capabilities of large language models (LLMs) on plain text, their proficiency in interpreting and utilizing structured data remains limited. Our investigation reveals a notable deficiency in LLMs' ability to process structured data, e.g., ChatGPT lags behind state-of-the-art (SoTA) model by an average of 35%. To augment the Structured Knowledge Grounding (SKG) capabilities in LLMs, we have developed a comprehensive instruction tuning dataset comprising 1.1 million examples. Utilizing this dataset, we train a series of models, referred to as StructLM, based on the Code-LLaMA architecture, ranging from 7B to 34B parameters. Our StructLM series surpasses task-specific models on 14 out of 18 evaluated datasets and establishes new SoTA achievements on 7 SKG tasks. Furthermore, StructLM demonstrates exceptional generalization across 6 novel SKG tasks. Contrary to expectations, we observe that scaling model size offers marginal benefits, with StructLM-34B showing only slight improvements over StructLM-7B. This suggests that structured knowledge grounding is still a challenging task and requires more innovative design to push to a new level.