Оптическое рассуждение: переосмысление изображений как выразительного средства рассуждения за пределами текста

Аннотация

Цепочка рассуждений (Chain-of-Thought, CoT) повышает производительность больших языковых моделей (Large Language Models, LLMs) и была расширена на мультимодальные большие языковые модели (Multimodal Large Language Models, MLLMs). Более поздние работы продвигаются далее от текстового мультимодального рассуждения к рассуждению с чередованием модальностей, где промежуточные шаги могут включать как текстовые обоснования, так и визуальные свидетельства. В данной работе мы предлагаем более смелую и амбициозную идею: могут ли изображения сами по себе служить средой рассуждения для языковых и мультимодальных задач? Чтобы исследовать это, мы предлагаем оптическое рассуждение, которое рассматривает изображения как самостоятельную среду рассуждения. Мы реализуем эту концепцию в двух вариантах: типографическое оптическое рассуждение, оптимизирующее визуальные макеты для компактного отображения обоснований, и графическое оптическое рассуждение, составляющее текст и графические элементы в структурированные визуальные обоснования. На бенчмарках математического, научного и перемежающегося модального рассуждения оптическое рассуждение может соответствовать или даже превосходить традиционное текстовое рассуждение, одновременно сокращая количество токенов рассуждения в среднем на 28,57% для языковых задач и на 16% для мультимодальных задач, достигая 1,96-кратной эффективности токенов по сравнению с текстовым рассуждением. Эти результаты показывают, что изображения могут эффективно и действенно кодировать обоснования, предоставляя при этом единый визуальный холст для рассуждения.

English

Chain-of-Thought (CoT) improves the performance of Large Language Models (LLMs) and has been extended to Multimodal Large Language Models (MLLMs). More recent work further moves from text-based multimodal reasoning toward interleaved-modal reasoning, where intermediate steps can incorporate both textual rationales and visual evidence. In this work, we propose a bolder and more ambitious idea: could images alone serve as the reasoning medium for both language and multimodal tasks? To explore this, we propose optical reasoning, which treats images as a standalone reasoning medium. We instantiate this concept with two variants: typographic-based optical reasoning, which optimizes visual layouts for compact rationale rendering, and graphical-based optical reasoning, which composes text and graphical elements into structured visual rationales. Across mathematical, scientific, and interleaved-modal reasoning benchmarks, optical reasoning can match or even exceed traditional text reasoning while reducing reasoning tokens by an average of 28.57% on language tasks and 16% on multimodal tasks, achieving 1.96 times the token efficiency of text reasoning. These results show that images can effectively and efficiently encode rationales while providing a unified visual canvas for reasoning.