大規模言語モデルによる金融推論は信頼できるのか？— 長期にわたる発言に対する実世界での検証

要旨

大規模言語モデル（LLM）は真の構造的推論を備えているのだろうか、それとも単に表面的なパターンマッチングに依存しているにすぎないのだろうか。数値精度と長いコンテキストにわたる多段階の論理が要求される金融領域は、理想的な試験環境である。既存のベンチマークは、現実世界の産業的複雑性を捉えきれておらず、主に多肢選択問題や切り抜かれた表に対する単一ホップのQAに依存しており、複雑な財務諸表間の動的関係や時間的累積解除を無視している。このギャップを埋めるため、我々はFinIndicesを導入する。これは、非切り抜きの財務諸表（最大32Kトークン）に対するデータ処理の忠実性を評価する大規模ベンチマークである。敵対的トラップを備えた自動合成パイプラインを活用し、FinIndicesは単一指標計算および表指標集計を含み、複雑な領域的・時間的・口径の推論を検証する。我々の評価により、LLMに二つの深刻な脆弱性があることが明らかになった。第一に「知識ボトルネック」である。事前学習中に式を記憶しているにもかかわらず、モデルは脆弱なパターンマッチングを示す。明示的な式のヒントを除去すると性能が崩壊し（例：Gemini-3.1-Proは表タスクにおいて70.70%から38.22%に低下）、時間的累積解除とストック・フロー口径の不一致における致命的な欠陥が露呈する。第二に「構造的ボトルネック」である。複数指標・複数期間の表を生成する際の高い認知的負荷が、推論能力を能動的に消耗させる。構造的压力の下では、単独の導出を完璧に実行するLLMであっても、誤った隣接列を取得したり、深い会計調整を怠惰な文字通りの算術で代用したりするといった浅いヒューリスティックに退行する。最後に、教師ありファインチューニング（SFT）は、ゼロヒント条件下で大きな改善をもたらし（単一指標で+8.54%、表指標で+3.82%）、構造的論理がデータ中心のアライメントにより部分的に回復可能であることを実証している。

English

Do Large Language Models (LLMs) possess genuine structural reasoning, or merely rely on surface-level pattern matching? The financial domain, demanding numerical precision and multi-step logic over long contexts, is an ideal testbed. Existing benchmarks fail to capture real-world industrial complexity, predominantly relying on multiple-choice questions or single-hop QA over cropped tables while ignoring intricate cross-statement dynamics and temporal de-cumulation. To bridge this gap, we introduce FinIndices, a large-scale benchmark evaluating data-processing fidelity over uncropped financial statements (up to 32K tokens). Utilizing an automated synthesis pipeline with adversarial traps, FinIndices encompasses Single-Index computation and Table-Index tabulation to test complex domain, temporal, and caliber reasoning. Our evaluation reveals two severe LLM vulnerabilities. First, a "Knowledge Bottleneck": despite memorizing formulas during pre-training, models demonstrate fragile pattern matching. Removing explicit formula hints causes performance to collapse (e.g., Gemini-3.1-Pro drops from 70.70% to 38.22% on table tasks), exposing fatal flaws in temporal de-cumulation and stock-flow caliber mismatch. Second, a "Structural Bottleneck": the intense cognitive load of generating multi-metric, multi-period tables actively drains reasoning capacity. Under structural pressure, LLMs that flawlessly execute isolated derivations regress to shallow heuristics, such as fetching incorrect adjacent columns or substituting deep accounting adjustments with lazy literal arithmetic. Finally, Supervised Fine-Tuning (SFT) yields substantial zero-hint gains (+8.54% Single, +3.82% Table), validating that structured logic can be partially restored via data-centric alignment.