CoVA-SFT: 시각적 추상화 사슬을 위한 대규모 데이터셋

초록

Chain-of-thought(CoT) 추론은 대규모 언어 모델(LLM)이 문제를 중간 단계로 분해할 수 있게 함으로써 모델 성능을 극적으로 향상시켰다. CoT는 언어적 과제에서 널리 효과적이지만, 텍스트 전용 CoT는 모델이 시각적 문제를 어색한 산문으로 직렬화하도록 강제한다. 시각적 입력을 처리하기 위한 구조적 해결책이 존재함에도 불구하고, 연구 커뮤니티에는 순수 텍스트 추론 문제를 해결하는 과정에서 내부 시각적 작업 공간을 구축하고 유지하는 방법을 모델에 가르칠 수 있는 대규모의 다단계 자기 수정(self-corrected) 데이터셋이 부족하다. 이러한 한계를 해결하기 위해, 우리는 5개의 서로 다른 레이아웃 계열과 17개의 복잡한 작업에 걸쳐 222K개 이상의 다중 모드 추론 단계를 포함하는 51.9K개 샘플로 구성된 고도로 구조화된 코퍼스인 CoVA-SFT와, 동일한 작업을 포괄하는 1,700개의 홀드아웃 테스트 샘플로 구성된 재현 가능한 평가용 동반 벤치마크인 CoVA-Bench를 소개한다. CoVA-SFT는 명시적 근거 구성, 에이전트 기반 렌더링, 검증 루프를 제공함으로써 다중 모드 언어 모델이 텍스트와 시각적 추상화를 교차 배치하도록 학습시킨다. 우리는 CoVA-SFT로 미세 조정된 모델이 CoVA-Bench에서 모든 교차 배치 CoT 기준선보다 평균 2배 이상 우수함을 보여줌으로써 데이터셋의 유효성을 검증하지만, 이러한 모델은 여전히 강력한 텍스트 전용 CoT 기준선에는 미치지 못하며, 이는 향후 연구에서 해결해야 할 과제를 시사한다.

English

Chain-of-thought (CoT) reasoning has dramatically improved large language models (LLMs) by allowing them to decompose problems into intermediate steps. While CoT is widely effective for linguistic tasks, text-only CoT forces models to serialize visual problems into awkward prose. Although architectural solutions exist to process visual inputs, the community lacks a massive, multi-step, self-corrected dataset to teach models how to build and maintain internal visual workspaces when solving purely textual reasoning problems. To address this limitation, we introduce CoVA-SFT, a highly structured corpus of 51.9K samples containing over 222K multimodal reasoning steps across 5 distinct layout families and 17 complex tasks, and CoVA-Bench, a companion benchmark of 1,700 held-out test samples spanning the same tasks for reproducible evaluation. By providing explicit rationale formulations, agentic renderings, and verification loops, CoVA-SFT teaches multimodal language models to interleave text and visual abstractions. We validate the dataset by demonstrating that models fine-tuned on CoVA-SFT outperform all interleaved CoT baselines by more than 2x on average on CoVA-Bench, though they still fall short of strong text-only CoT baselines, highlighting open challenges for future work.