LLM의 금융 추론은 신뢰할 수 있는가? 장기적 관점의 진술에 대한 실제 세계 테스트

초록

대규모 언어 모델(LLM)은 진정한 구조적 추론 능력을 보유하는가, 아니면 단지 표면적 패턴 매칭에 의존하는가? 수치적 정밀성과 긴 맥락에 걸친 다단계 논리를 요구하는 금융 분야는 이를 검증하기 위한 이상적인 시험대이다. 기존 벤치마크는 대부분 잘린 표에 대한 객관식 문제나 단일 홉 질의응답에 의존할 뿐, 복잡한 재무제표 간 역학 관계와 시간적 누적 해제를 무시함으로써 실제 산업 현장의 복잡성을 반영하지 못한다. 이러한 격차를 해소하기 위해, 우리는 최대 32K 토큰에 달하는 크롭되지 않은 재무제표에 대한 데이터 처리 충실도를 평가하는 대규모 벤치마크인 FinIndices를 제안한다. 적대적 함정을 포함한 자동 합성 파이프라인을 활용하여, FinIndices는 단일 지수 계산과 표 지수 산출을 포괄함으로써 복잡한 도메인, 시간적, 그리고 기준(caliber) 추론을 시험한다. 본 평가는 두 가지 심각한 LLM 취약점을 밝혀낸다. 첫째, "지식 병목(Knowledge Bottleneck)": 모델이 사전 학습 중 공식을 암기하고 있음에도 불구하고, 그 패턴 매칭은 취약하다. 명시적 공식 힌트를 제거하면 성능이 급락하는데(예: Gemini-3.1-Pro의 표 작업 성능이 70.70%에서 38.22%로 하락), 이는 시간적 누적 해제와 저량-유량(stock-flow) 기준 불일치에 있어 치명적 결함을 드러낸다. 둘째, "구조적 병목(Structural Bottleneck)": 다중 지표·다중 기간 표를 생성하는 데 따르는 과도한 인지 부하는 추론 능력을 실질적으로 소진시킨다. 구조적 압박 하에서, 개별 파생 계산은 완벽하게 수행하던 LLM도 잘못된 인접 열을 참조하거나 심층 회계 조정을 단순한 문자적 산술로 대체하는 등 얕은 휴리스틱으로 퇴행한다. 마지막으로, 지도 미세 조정(SFT)은 힌트가 없는 상황에서도 상당한 성능 향상(+8.54% 단일 지수, +3.82% 표 지수)을 가져오며, 이는 구조적 논리가 데이터 중심 정렬을 통해 부분적으로 복원될 수 있음을 검증한다.

English

Do Large Language Models (LLMs) possess genuine structural reasoning, or merely rely on surface-level pattern matching? The financial domain, demanding numerical precision and multi-step logic over long contexts, is an ideal testbed. Existing benchmarks fail to capture real-world industrial complexity, predominantly relying on multiple-choice questions or single-hop QA over cropped tables while ignoring intricate cross-statement dynamics and temporal de-cumulation. To bridge this gap, we introduce FinIndices, a large-scale benchmark evaluating data-processing fidelity over uncropped financial statements (up to 32K tokens). Utilizing an automated synthesis pipeline with adversarial traps, FinIndices encompasses Single-Index computation and Table-Index tabulation to test complex domain, temporal, and caliber reasoning. Our evaluation reveals two severe LLM vulnerabilities. First, a "Knowledge Bottleneck": despite memorizing formulas during pre-training, models demonstrate fragile pattern matching. Removing explicit formula hints causes performance to collapse (e.g., Gemini-3.1-Pro drops from 70.70% to 38.22% on table tasks), exposing fatal flaws in temporal de-cumulation and stock-flow caliber mismatch. Second, a "Structural Bottleneck": the intense cognitive load of generating multi-metric, multi-period tables actively drains reasoning capacity. Under structural pressure, LLMs that flawlessly execute isolated derivations regress to shallow heuristics, such as fetching incorrect adjacent columns or substituting deep accounting adjustments with lazy literal arithmetic. Finally, Supervised Fine-Tuning (SFT) yields substantial zero-hint gains (+8.54% Single, +3.82% Table), validating that structured logic can be partially restored via data-centric alignment.