Technisch Rapport FireRed-OCR

Samenvatting

Wij presenteren FireRed-OCR, een systematisch raamwerk om algemene Vision-Language Models (VLMs) te specialiseren tot hoogwaardige OCR-modellen. Grote Vision-Language Models (VLMs) hebben indrukwekkende algemene capaciteiten getoond, maar lijden vaak aan "structurele hallucinatie" bij het verwerken van complexe documenten, wat hun bruikbaarheid in industriële OCR-toepassingen beperkt. In dit artikel introduceren we FireRed-OCR, een nieuw raamwerk ontworpen om algemene VLMs (gebaseerd op Qwen3-VL) om te vormen tot pixelprecieze experts in structurele documentparsing. Om het gebrek aan hoogwaardige gestructureerde data aan te pakken, construeren we een "Geometrie + Semantiek" Data Factory. In tegenstelling tot traditionele willekeurige steekproeven, benut onze pijplijn geometrische kenmerkclustering en multidimensionale tagging om een zeer gebalanceerde dataset te synthetiseren en samen te stellen, die effectief omgaat met long-tail lay-outs en zeldzame documenttypen. Verder stellen we een Drie-fasen Progressieve Trainingsstrategie voor die het model begeleidt van pixelperceptie naar logische structuurgeneratie. Deze leerlijn omvat: (1) Multi-task Pre-alignment om het begrip van het model voor documentstructuur te gronden; (2) Gespecialiseerde SFT voor het standaardiseren van volledig-beeld Markdown-output; en (3) Format-Constrained Group Relative Policy Optimization (GRPO), dat reinforcement learning gebruikt om strikte syntactische geldigheid en structurele integriteit af te dwingen (bijv. tabelafsluiting, formulesyntax). Uitgebreide evaluaties op OmniDocBench v1.5 tonen aan dat FireRed-OCR state-of-the-art prestaties bereikt met een algemene score van 92,94%, wat aanzienlijk beter is dan sterke baselines zoals DeepSeek-OCR 2 en OCRVerse op tekst-, formule-, tabel- en leesvolgordemetrieken. Wij maken onze code en modelgewichten open source om het paradigma "Algemene VLM naar Gespecialiseerde Structurele Expert" te faciliteren.

English

We present FireRed-OCR, a systematic framework to specialize general VLMs into high-performance OCR models. Large Vision-Language Models (VLMs) have demonstrated impressive general capabilities but frequently suffer from ``structural hallucination'' when processing complex documents, limiting their utility in industrial OCR applications. In this paper, we introduce FireRed-OCR, a novel framework designed to transform general-purpose VLMs (based on Qwen3-VL) into pixel-precise structural document parsing experts. To address the scarcity of high-quality structured data, we construct a ``Geometry + Semantics'' Data Factory. Unlike traditional random sampling, our pipeline leverages geometric feature clustering and multi-dimensional tagging to synthesize and curate a highly balanced dataset, effectively handling long-tail layouts and rare document types. Furthermore, we propose a Three-Stage Progressive Training strategy that guides the model from pixel-level perception to logical structure generation. This curriculum includes: (1) Multi-task Pre-alignment to ground the model's understanding of document structure; (2) Specialized SFT for standardizing full-image Markdown output; and (3) Format-Constrained Group Relative Policy Optimization (GRPO), which utilizes reinforcement learning to enforce strict syntactic validity and structural integrity (e.g., table closure, formula syntax). Extensive evaluations on OmniDocBench v1.5 demonstrate that FireRed-OCR achieves state-of-the-art performance with an overall score of 92.94\%, significantly outperforming strong baselines such as DeepSeek-OCR 2 and OCRVerse across text, formula, table, and reading order metrics. We open-source our code and model weights to facilitate the ``General VLM to Specialized Structural Expert'' paradigm.

Technisch Rapport FireRed-OCR

FireRed-OCR Technical Report

Samenvatting

Support