Relatório Técnico do FireRed-OCR
FireRed-OCR Technical Report
March 2, 2026
Autores: Hao Wu, Haoran Lou, Xinyue Li, Zuodong Zhong, Zhaojun Sun, Phellon Chen, Xuanhe Zhou, Kai Zuo, Yibo Chen, Xu Tang, Yao Hu, Boxiang Zhou, Jian Wu, Yongji Wu, Wenxin Yu, Yingmiao Liu, Yuhao Huang, Manjie Xu, Gang Liu, Yidong Ma, Zhichao Sun, Changhao Qiao
cs.AI
Resumo
Apresentamos o FireRed-OCR, uma estrutura sistemática para especializar Modelos de Linguagem e Visão (VLMs) gerais em modelos de OCR de alto desempenho. Os Grandes Modelos de Linguagem e Visão (VLMs) demonstraram capacidades gerais impressionantes, mas frequentemente sofrem de "alucinação estrutural" ao processar documentos complexos, limitando sua utilidade em aplicações industriais de OCR. Neste artigo, introduzimos o FireRed-OCR, uma estrutura nova concebida para transformar VLMs de propósito geral (baseados no Qwen3-VL) em especialistas em análise estrutural de documentos com precisão de pixel. Para enfrentar a escassez de dados estruturados de alta qualidade, construímos uma Fábrica de Dados de "Geometria + Semântica". Diferente da amostragem aleatória tradicional, nosso *pipeline* aproveita o agrupamento por características geométricas e a marcação multidimensional para sintetizar e curadar um conjunto de dados altamente balanceado, lidando eficazmente com layouts de cauda longa e tipos de documentos raros. Adicionalmente, propomos uma Estratégia de Treinamento Progressivo em Três Estágios que guia o modelo da perceção a nível de pixel até a geração de estrutura lógica. Este currículo inclui: (1) Pré-alinhamento Multi-tarefa para fundamentar a compreensão da estrutura do documento pelo modelo; (2) SFT Especializado para padronizar a saída Markdown de imagem completa; e (3) Otimização de Política Relativa de Grupo com Restrições de Formato (*Format-Constrained Group Relative Policy Optimization - GRPO*), que utiliza aprendizagem por reforço para impor validade sintática estrita e integridade estrutural (ex., fecho de tabelas, sintaxe de fórmulas). Avaliações extensivas no OmniDocBench v1.5 demonstram que o FireRed-OCR atinge um desempenho de ponta com uma pontuação geral de 92,94%, superando significativamente *baselines* fortes como DeepSeek-OCR 2 e OCRVerse em métricas de texto, fórmula, tabela e ordem de leitura. Disponibilizamos publicamente nosso código e pesos do modelo para facilitar o paradigma "VLM Geral para Especialista Estrutural Especializado".
English
We present FireRed-OCR, a systematic framework to specialize general VLMs into high-performance OCR models. Large Vision-Language Models (VLMs) have demonstrated impressive general capabilities but frequently suffer from ``structural hallucination'' when processing complex documents, limiting their utility in industrial OCR applications. In this paper, we introduce FireRed-OCR, a novel framework designed to transform general-purpose VLMs (based on Qwen3-VL) into pixel-precise structural document parsing experts. To address the scarcity of high-quality structured data, we construct a ``Geometry + Semantics'' Data Factory. Unlike traditional random sampling, our pipeline leverages geometric feature clustering and multi-dimensional tagging to synthesize and curate a highly balanced dataset, effectively handling long-tail layouts and rare document types. Furthermore, we propose a Three-Stage Progressive Training strategy that guides the model from pixel-level perception to logical structure generation. This curriculum includes: (1) Multi-task Pre-alignment to ground the model's understanding of document structure; (2) Specialized SFT for standardizing full-image Markdown output; and (3) Format-Constrained Group Relative Policy Optimization (GRPO), which utilizes reinforcement learning to enforce strict syntactic validity and structural integrity (e.g., table closure, formula syntax). Extensive evaluations on OmniDocBench v1.5 demonstrate that FireRed-OCR achieves state-of-the-art performance with an overall score of 92.94\%, significantly outperforming strong baselines such as DeepSeek-OCR 2 and OCRVerse across text, formula, table, and reading order metrics. We open-source our code and model weights to facilitate the ``General VLM to Specialized Structural Expert'' paradigm.