Regard léger, pensée lourde : ce que le raisonnement multimodal en chaîne de pensée peut et ne peut pas faire

Résumé

Le raisonnement par chaîne de pensée (Chain-of-Thought, CoT) est devenu une méthode standard pour améliorer les capacités de raisonnement des grands modèles de langage (LLMs) en suscitant une réflexion pas à pas, mais son efficacité dans les tâches multimodales reste incertaine. Dans cet article, nous visons à étudier systématiquement la question clé : que peut apporter le raisonnement multimodal par chaîne de pensée, et où et pourquoi échoue-t-il ? À cette fin, nous évaluons 12 tâches multimodales réparties en catégories de perception et de raisonnement, en utilisant à la fois 14 modèles non raisonnants et 8 modèles raisonnants. Notre analyse révèle plusieurs résultats importants : (1) Le CoT n'est pas un remède universel et doit être utilisé sélectivement en fonction des exigences spécifiques de chaque tâche. Pour les tâches de perception, le CoT peut entraîner des effets secondaires indésirables, tels qu'une performance réduite dans l'ancrage visuel et le comptage d'objets. En revanche, il se montre efficace pour les tâches de raisonnement impliquant des raisonnements mathématiques, scientifiques et multi-images ; (2) Par rapport aux modèles originaux, les modèles de raisonnement multimodal open source existants n'apportent souvent que des améliorations globales marginales, probablement en raison d'une focalisation excessive sur le raisonnement mathématique au détriment de capacités plus larges ; (3) Le raisonnement visuel reste un goulot d'étranglement majeur pour le CoT multimodal actuel, car les modèles présentent un schéma « Regard léger, Pensée lourde » où la réflexion verbale augmente et diminue au cours du raisonnement, tandis que la réflexion visuelle diminue constamment. Ces résultats suggèrent que si le CoT multimodal gère relativement bien la réflexion verbale, il manque de la capacité à maintenir une introspection visuelle profonde tout au long du processus de raisonnement.

English

Chain-of-Thought (CoT) has become a standard method for improving reasoning capabilities in large language models (LLMs) by eliciting step-by-step thinking, but its effectiveness in multimodal tasks remains unclear. In this paper, we aim to systematically investigate the key question: What can multimodal Chain-of-Thought reasoning do, and where and why does it fall short? To this end, we evaluate 12 multimodal tasks across perception and reasoning categories using both 14 non-reasoning models and 8 reasoning models. Our analysis reveals several important findings: (1) CoT is not a free lunch and should be used selectively depending on the specific requirements of each task. For perception tasks, CoT can lead to undesirable side effects, such as reduced performance in visual grounding and object counting. In contrast, it proves effective for reasoning tasks involving mathematical, scientific, and multi-image reasoning; (2) Compared to original models, existing open-source multimodal reasoning models often yield only marginal overall improvements, possibly due to an overemphasis on mathematical reasoning at the expense of broader capabilities; (3) Visual reasoning remains a key bottleneck for current multimodal CoT, as models exhibit a Look Light, Think Heavy pattern where verbal reflection rises and falls during reasoning, whereas visual reflection consistently diminishes. These findings suggest that while multimodal CoT handles verbal reflection relatively well, it lacks the ability to maintain deep visual introspection throughout the reasoning process.