Informe Técnico de FireRed-OCR

Resumen

Presentamos FireRed-OCR, un marco sistemático para especializar modelos visuales-lingüísticos generales (VLM) y convertirlos en modelos de OCR de alto rendimiento. Los grandes modelos visuales-lingüísticos han demostrado capacidades generales impresionantes, pero a menudo sufren de "alucinación estructural" al procesar documentos complejos, lo que limita su utilidad en aplicaciones industriales de OCR. En este artículo, presentamos FireRed-OCR, un marco novedoso diseñado para transformar VLMs de propósito general (basados en Qwen3-VL) en expertos en análisis estructural de documentos con precisión a nivel de píxel. Para abordar la escasez de datos estructurados de alta calidad, construimos una "Fábrica de Datos de Geometría + Semántica". A diferencia del muestreo aleatorio tradicional, nuestra canalización aprovecha la agrupación de características geométricas y el etiquetado multidimensional para sintetizar y curar un conjunto de datos altamente equilibrado, manejando eficazmente diseños de cola larga y tipos de documentos raros. Además, proponemos una Estrategia de Entrenamiento Progresivo en Tres Etapas que guía al modelo desde la percepción a nivel de píxel hasta la generación de estructura lógica. Este currículo incluye: (1) Pre-alineación multitarea para fundamentar la comprensión de la estructura del documento por parte del modelo; (2) SFT Especializado para estandarizar la salida en Markdown de imagen completa; y (3) Optimización de Políticas Relativas Grupales con Restricciones de Formato (GRPO), que utiliza aprendizaje por refuerzo para hacer cumplir la validez sintáctica estricta y la integridad estructural (por ejemplo, cierre de tablas, sintaxis de fórmulas). Evaluaciones exhaustivas en OmniDocBench v1.5 demuestran que FireRed-OCR logra un rendimiento de vanguardia con una puntuación general del 92.94%, superando significativamente a líneas de base sólidas como DeepSeek-OCR 2 y OCRVerse en métricas de texto, fórmulas, tablas y orden de lectura. Liberamos nuestro código y los pesos del modelo para facilitar el paradigma de "VLM General a Experto Estructural Especializado".

English

We present FireRed-OCR, a systematic framework to specialize general VLMs into high-performance OCR models. Large Vision-Language Models (VLMs) have demonstrated impressive general capabilities but frequently suffer from ``structural hallucination'' when processing complex documents, limiting their utility in industrial OCR applications. In this paper, we introduce FireRed-OCR, a novel framework designed to transform general-purpose VLMs (based on Qwen3-VL) into pixel-precise structural document parsing experts. To address the scarcity of high-quality structured data, we construct a ``Geometry + Semantics'' Data Factory. Unlike traditional random sampling, our pipeline leverages geometric feature clustering and multi-dimensional tagging to synthesize and curate a highly balanced dataset, effectively handling long-tail layouts and rare document types. Furthermore, we propose a Three-Stage Progressive Training strategy that guides the model from pixel-level perception to logical structure generation. This curriculum includes: (1) Multi-task Pre-alignment to ground the model's understanding of document structure; (2) Specialized SFT for standardizing full-image Markdown output; and (3) Format-Constrained Group Relative Policy Optimization (GRPO), which utilizes reinforcement learning to enforce strict syntactic validity and structural integrity (e.g., table closure, formula syntax). Extensive evaluations on OmniDocBench v1.5 demonstrate that FireRed-OCR achieves state-of-the-art performance with an overall score of 92.94\%, significantly outperforming strong baselines such as DeepSeek-OCR 2 and OCRVerse across text, formula, table, and reading order metrics. We open-source our code and model weights to facilitate the ``General VLM to Specialized Structural Expert'' paradigm.

Informe Técnico de FireRed-OCR

FireRed-OCR Technical Report

Resumen

Support