MentalThink: 정신적 SVG 세계에서의 사고 형성

초록

저희는 MentalThink를 소개합니다. 이는 멀티모달 대규모 언어 모델(MLLM)에 "정신적" 시각화를 위한 실행 가능한 메커니즘을 제공하는 시각-기호 추론 패러다임입니다. MentalThink의 핵심은 SVG 기반 사고 파이프라인(think-with-SVG pipeline)으로, 모델이 중간 시각적 표현으로서 확장 가능한 벡터 그래픽(SVG) 코드를 생성, 렌더링 및 해석하는 방법을 학습하여 다회차 추론을 수행합니다. 구조화된 벡터 스케치를 생성함으로써 모델은 공간적 가설을 외부화하고, 결정론적 렌더링을 통해 이를 검사하며, 제한된 기하학적 공간 내에서 추론하여 인간의 심상을 효과적으로 모방합니다. 본 패러다임은 두 단계의 훈련 프레임워크를 통해 구현되며, SVG 구문 정렬을 위한 지도 미세 조정(SFT)과 중간 시각적 가설의 반복적인 검사, 수정 및 개선을 장려하는 다회차 강화 학습(RL)을 결합합니다. 광범위한 평가를 통해 MentalThink는 공간 이해 및 추론 벤치마크(예: VSIBench 55.1%, MindCube 76.0%)에서 우수한 성능을 달성하여, 실행 가능한 벡터 그래픽이 동적 관점 전환, 시각적 반성 및 구성적 장면 구축을 위한 검증 가능한 시각적 작업 공간을 제공함을 보여줍니다.

English

We introduce MentalThink, a visual-symbolic reasoning paradigm that equips Multimodal LLMs (MLLMs) with an executable mechanism for "mental" visualization. The core of MentalThink is a think-with-SVG pipeline, where the model learns to generate, render, and interpret scalable vector graphics (SVG) code as an intermediate visual representation for multi-turn reasoning. By creating structured vector sketches, the model can externalize spatial hypotheses, inspect them through deterministic rendering, and reason within a constrained geometric space, effectively mimicking the human process of mental imagery. We instantiate this paradigm through a two-stage training framework, combining Supervised Fine-Tuning (SFT) for SVG syntactic alignment with multi-turn Reinforcement Learning (RL) to encourage iterative inspection, revision, and refinement of intermediate visual hypotheses. Extensive evaluations demonstrate that MentalThink achieves superior performance on spatial understanding and reasoning benchmarks (e.g., 55.1% on VSIBench, 76.0% on MindCube), showing that executable vector graphics provide a verifiable visual workspace for dynamic perspective taking, visual reflection, and compositional scene construction.