Raciocínio Óptico: Repensando Imagens como um Meio Expressivo de Raciocínio Além do Texto

Resumo

O raciocínio em cadeia de pensamento (Chain-of-Thought, CoT) melhora o desempenho de Modelos de Linguagem de Grande Escala (Large Language Models, LLMs) e foi estendido a Modelos de Linguagem de Grande Escala Multimodais (Multimodal Large Language Models, MLLMs). Trabalhos mais recentes avançam ainda mais, do raciocínio multimodal baseado em texto para o raciocínio intercalado entre modalidades, onde etapas intermediárias podem incorporar tanto fundamentações textuais quanto evidências visuais. Neste trabalho, propomos uma ideia mais ousada e ambiciosa: será que apenas imagens poderiam servir como meio de raciocínio para tarefas linguísticas e multimodais? Para explorar isso, propomos o raciocínio óptico, que trata as imagens como um meio de raciocínio independente. Instanciamos esse conceito com duas variantes: raciocínio óptico baseado em tipografia, que otimiza layouts visuais para uma renderização compacta de fundamentações, e raciocínio óptico baseado em gráficos, que compõe texto e elementos gráficos em fundamentações visuais estruturadas. Em benchmarks de raciocínio matemático, científico e intercalado entre modalidades, o raciocínio óptico pode igualar ou até superar o raciocínio textual tradicional, ao mesmo tempo que reduz os tokens de raciocínio em média 28,57% em tarefas de linguagem e 16% em tarefas multimodais, alcançando 1,96 vezes a eficiência de tokens do raciocínio textual. Esses resultados mostram que as imagens podem codificar fundamentações de forma eficaz e eficiente, ao mesmo tempo que fornecem uma tela visual unificada para o raciocínio.

English

Chain-of-Thought (CoT) improves the performance of Large Language Models (LLMs) and has been extended to Multimodal Large Language Models (MLLMs). More recent work further moves from text-based multimodal reasoning toward interleaved-modal reasoning, where intermediate steps can incorporate both textual rationales and visual evidence. In this work, we propose a bolder and more ambitious idea: could images alone serve as the reasoning medium for both language and multimodal tasks? To explore this, we propose optical reasoning, which treats images as a standalone reasoning medium. We instantiate this concept with two variants: typographic-based optical reasoning, which optimizes visual layouts for compact rationale rendering, and graphical-based optical reasoning, which composes text and graphical elements into structured visual rationales. Across mathematical, scientific, and interleaved-modal reasoning benchmarks, optical reasoning can match or even exceed traditional text reasoning while reducing reasoning tokens by an average of 28.57% on language tasks and 16% on multimodal tasks, achieving 1.96 times the token efficiency of text reasoning. These results show that images can effectively and efficiently encode rationales while providing a unified visual canvas for reasoning.