SpreadsheetLLM: 大規模言語モデルのためのスプレッドシートエンコーディング

SpreadsheetLLM: Encoding Spreadsheets for Large Language Models

July 12, 2024

著者: Yuzhang Tian, Jianbo Zhao, Haoyu Dong, Junyu Xiong, Shiyu Xia, Mengyu Zhou, Yun Lin, José Cambronero, Yeye He, Shi Han, Dongmei Zhang

cs.AI

要旨

スプレッドシートは、その広大な二次元グリッド、多様なレイアウト、そして豊富なフォーマットオプションにより、大規模言語モデル（LLMs）にとって大きな課題を提示します。これに対応するため、我々はSpreadsheetLLMを導入し、スプレッドシート上でのLLMsの強力な理解力と推論能力を最大限に引き出し最適化するための効率的なエンコーディング手法を開拓しました。最初に、セルアドレス、値、フォーマットを組み込んだ基本的なシリアライゼーション手法を提案しました。しかし、この手法はLLMsのトークン制約により制限され、ほとんどのアプリケーションでは実用的ではありませんでした。この課題を解決するため、我々はSheetCompressorを開発しました。これは、LLMs向けにスプレッドシートを効果的に圧縮する革新的なエンコーディングフレームワークです。このフレームワークは、構造アンカーベースの圧縮、逆インデックス変換、データフォーマットを考慮した集約の3つのモジュールで構成されています。これにより、スプレッドシートの表検出タスクにおいて性能が大幅に向上し、GPT4のインコンテキスト学習設定において基本的な手法を25.6%上回りました。さらに、SheetCompressorでファインチューニングされたLLMは、平均25倍の圧縮率を達成しつつ、最先端の78.9%のF1スコアを記録し、既存の最良のモデルを12.3%上回りました。最後に、スプレッドシート理解の下流タスク向けにChain of Spreadsheetを提案し、新しく要求の厳しいスプレッドシートQAタスクで検証しました。我々はスプレッドシートの固有のレイアウトと構造を体系的に活用し、SpreadsheetLLMが様々なスプレッドシートタスクにおいて非常に効果的であることを実証しました。

English

Spreadsheets, with their extensive two-dimensional grids, various layouts, and diverse formatting options, present notable challenges for large language models (LLMs). In response, we introduce SpreadsheetLLM, pioneering an efficient encoding method designed to unleash and optimize LLMs' powerful understanding and reasoning capability on spreadsheets. Initially, we propose a vanilla serialization approach that incorporates cell addresses, values, and formats. However, this approach was limited by LLMs' token constraints, making it impractical for most applications. To tackle this challenge, we develop SheetCompressor, an innovative encoding framework that compresses spreadsheets effectively for LLMs. It comprises three modules: structural-anchor-based compression, inverse index translation, and data-format-aware aggregation. It significantly improves performance in spreadsheet table detection task, outperforming the vanilla approach by 25.6% in GPT4's in-context learning setting. Moreover, fine-tuned LLM with SheetCompressor has an average compression ratio of 25 times, but achieves a state-of-the-art 78.9% F1 score, surpassing the best existing models by 12.3%. Finally, we propose Chain of Spreadsheet for downstream tasks of spreadsheet understanding and validate in a new and demanding spreadsheet QA task. We methodically leverage the inherent layout and structure of spreadsheets, demonstrating that SpreadsheetLLM is highly effective across a variety of spreadsheet tasks.