SpreadsheetLLM: 대규모 언어 모델을 위한 스프레드시트 인코딩

SpreadsheetLLM: Encoding Spreadsheets for Large Language Models

July 12, 2024

저자: Yuzhang Tian, Jianbo Zhao, Haoyu Dong, Junyu Xiong, Shiyu Xia, Mengyu Zhou, Yun Lin, José Cambronero, Yeye He, Shi Han, Dongmei Zhang

cs.AI

초록

스프레드시트는 광범위한 2차원 그리드, 다양한 레이아웃, 그리고 다양한 서식 옵션으로 인해 대규모 언어 모델(LLMs)에게 상당한 도전 과제를 제시합니다. 이에 대응하여, 우리는 SpreadsheetLLM을 소개하며, 스프레드시트에서 LLMs의 강력한 이해와 추론 능력을 발휘하고 최적화하기 위한 효율적인 인코딩 방법을 선구적으로 제안합니다. 초기에는 셀 주소, 값, 그리고 서식을 포함한 기본적인 직렬화 접근 방식을 제안했습니다. 그러나 이 접근 방식은 LLMs의 토큰 제약으로 인해 대부분의 응용 프로그램에서 실용적이지 못했습니다. 이 문제를 해결하기 위해, 우리는 SheetCompressor라는 혁신적인 인코딩 프레임워크를 개발했습니다. 이 프레임워크는 구조적 앵커 기반 압축, 역인덱스 변환, 그리고 데이터-서식 인식 집계라는 세 가지 모듈로 구성됩니다. 이는 스프레드시트 테이블 탐지 작업에서 성능을 크게 향상시켜, GPT4의 인컨텍스트 학습 설정에서 기본 접근 방식보다 25.6% 더 나은 성능을 보였습니다. 또한, SheetCompressor로 미세 조정된 LLM은 평균 25배의 압축 비율을 달성하면서도 최첨단 78.9% F1 점수를 기록하여, 기존 최고 모델을 12.3% 앞섰습니다. 마지막으로, 우리는 스프레드시트 이해를 위한 다운스트림 작업을 위해 Chain of Spreadsheet를 제안하고, 새로운 그리고 까다로운 스프레드시트 QA 작업에서 이를 검증했습니다. 우리는 스프레드시트의 내재된 레이아웃과 구조를 체계적으로 활용하여, SpreadsheetLLM이 다양한 스프레드시트 작업에서 매우 효과적임을 입증했습니다.

English

Spreadsheets, with their extensive two-dimensional grids, various layouts, and diverse formatting options, present notable challenges for large language models (LLMs). In response, we introduce SpreadsheetLLM, pioneering an efficient encoding method designed to unleash and optimize LLMs' powerful understanding and reasoning capability on spreadsheets. Initially, we propose a vanilla serialization approach that incorporates cell addresses, values, and formats. However, this approach was limited by LLMs' token constraints, making it impractical for most applications. To tackle this challenge, we develop SheetCompressor, an innovative encoding framework that compresses spreadsheets effectively for LLMs. It comprises three modules: structural-anchor-based compression, inverse index translation, and data-format-aware aggregation. It significantly improves performance in spreadsheet table detection task, outperforming the vanilla approach by 25.6% in GPT4's in-context learning setting. Moreover, fine-tuned LLM with SheetCompressor has an average compression ratio of 25 times, but achieves a state-of-the-art 78.9% F1 score, surpassing the best existing models by 12.3%. Finally, we propose Chain of Spreadsheet for downstream tasks of spreadsheet understanding and validate in a new and demanding spreadsheet QA task. We methodically leverage the inherent layout and structure of spreadsheets, demonstrating that SpreadsheetLLM is highly effective across a variety of spreadsheet tasks.