OCR-Agent: OCR Agente con Capacità e Memoria Riflessiva

OCR-Agent: Agentic OCR with Capability and Memory Reflection

February 24, 2026

Autori: Shimin Wen, Zeyu Zhang, Xingdou Bian, Hongjie Zhu, Lulu He, Layi Shama, Daji Ergu, Ying Cai

cs.AI

Abstract

I grandi modelli visione-linguaggio (VLM) hanno dimostrato un potenziale significativo in compiti complessi di comprensione visiva attraverso metodi di ottimizzazione iterativa. Tuttavia, questi modelli generalmente mancano di meccanismi efficaci di autocorrezione, rendendo loro difficile rettificare autonomamente i bias cognitivi. Di conseguenza, durante revisioni multi-turno, spesso cadono in tentativi ripetitivi e inefficaci, non riuscendo a ottenere miglioramenti stabili nella qualità delle risposte. Per affrontare questo problema, proponiamo una nuova struttura di autocorrezione iterativa che conferisce ai modelli due capacità chiave: Riflessione delle Capacità e Riflessione della Memoria. Questa struttura guida il modello a diagnosticare prima gli errori e generare un piano di correzione tramite la Riflessione delle Capacità, poi a sfruttare la Riflessione della Memoria per riesaminare i tentativi passati al fine di evitare ripetizioni ed esplorare nuove soluzioni, e infine, a ottimizzare la risposta attraverso un rigoroso nuovo ragionamento. Esperimenti sul complesso benchmark OCRBench v2 mostrano che OCR-Agent supera l'attuale modello SOTA open-source InternVL3-8B di +2,0 nel subset inglese e +1,2 in quello cinese, raggiungendo risultati all'avanguardia in Comprensione Visiva (79,9) e Ragionamento (66,5) - superando persino modelli più grandi e addestrati specificamente. Il nostro metodo dimostra che una riflessione strutturata e consapevole può migliorare significativamente la robustezza del ragionamento dei VLM senza addestramento aggiuntivo. Codice: https://github.com/AIGeeksGroup/OCR-Agent.

English

Large Vision-Language Models (VLMs) have demonstrated significant potential on complex visual understanding tasks through iterative optimization methods.However, these models generally lack effective self-correction mechanisms, making it difficult for them to independently rectify cognitive biases. Consequently, during multi-turn revisions, they often fall into repetitive and ineffective attempts, failing to achieve stable improvements in answer quality.To address this issue, we propose a novel iterative self-correction framework that endows models with two key capabilities: Capability Reflection and Memory Reflection. This framework guides the model to first diagnose errors and generate a correction plan via Capability Reflection, then leverage Memory Reflection to review past attempts to avoid repetition and explore new solutions, and finally, optimize the answer through rigorous re-reasoning. Experiments on the challenging OCRBench v2 benchmark show that OCR-Agent outperforms the current open-source SOTA model InternVL3-8B by +2.0 on English and +1.2 on Chinese subsets, while achieving state-of-the-art results in Visual Understanding (79.9) and Reasoning (66.5) - surpassing even larger fine-tuned models. Our method demonstrates that structured, self-aware reflection can significantly enhance VLMs' reasoning robustness without additional training. Code: https://github.com/AIGeeksGroup/OCR-Agent.