Technischer Bericht zu FireRed-OCR

Zusammenfassung

Wir stellen FireRed-OCR vor, einen systematischen Rahmen, um allgemeine VLMs in leistungsstarke OCR-Modelle zu spezialisieren. Große visuell-sprachliche Modelle (VLMs) haben beeindruckende allgemeine Fähigkeiten gezeigt, leiden jedoch häufig unter „struktureller Halluzination“ bei der Verarbeitung komplexer Dokumente, was ihren Nutzen in industriellen OCR-Anwendungen einschränkt. In diesem Artikel führen wir FireRed-OCR ein, einen neuartigen Rahmen, der darauf ausgelegt ist, allgemeine VLMs (basierend auf Qwen3-VL) in pixelgenaue Experten für die strukturelle Dokumentenanalyse zu verwandeln. Um den Mangel an hochwertigen strukturierten Daten zu beheben, konstruieren wir eine „Geometrie + Semantik“-Datenfabrik. Im Gegensatz zur traditionellen Zufallsstichprobe nutzt unsere Pipeline geometrische Merkmalsclustering und mehrdimensionale Verschlagwortung, um einen hochgradig ausgewogenen Datensatz zu synthetisieren und aufzubereiten, der Langschwanz-Layouts und seltene Dokumenttypen effektiv behandelt. Darüber hinaus schlagen wir eine Drei-Stufen-Progressive-Trainingsstrategie vor, die das Modell von der Pixelebene-Wahrnehmung zur logischen Strukturgenerierung führt. Dieser Lehrplan umfasst: (1) Multi-Task-Vorabstimmung, um das Verständnis des Modells für die Dokumentstruktur zu verankern; (2) Spezialisiertes SFT zur Standardisierung der Vollbild-Markdown-Ausgabe; und (3) Formatbeschränkte Gruppenrelative Richtlinienoptimierung (GRPO), die bestärkendes Lernen nutzt, um strenge syntaktische Gültigkeit und strukturelle Integrität (z.B. Tabellenabschluss, Formelsyntax) durchzusetzen. Umfangreiche Auswertungen auf OmniDocBench v1.5 zeigen, dass FireRed-OCR mit einer Gesamtpunktzahl von 92,94 % state-of-the-art-Leistung erreicht und starke Baseline-Modelle wie DeepSeek-OCR 2 und OCRVerse in den Metriken für Text, Formeln, Tabellen und Lesereihenfolge signifikant übertrifft. Wir veröffentlichen unseren Code und unsere Modellgewichte, um das Paradigma „Allgemeiner VLM zum spezialisierten Strukturexperten“ zu fördern.

English

We present FireRed-OCR, a systematic framework to specialize general VLMs into high-performance OCR models. Large Vision-Language Models (VLMs) have demonstrated impressive general capabilities but frequently suffer from ``structural hallucination'' when processing complex documents, limiting their utility in industrial OCR applications. In this paper, we introduce FireRed-OCR, a novel framework designed to transform general-purpose VLMs (based on Qwen3-VL) into pixel-precise structural document parsing experts. To address the scarcity of high-quality structured data, we construct a ``Geometry + Semantics'' Data Factory. Unlike traditional random sampling, our pipeline leverages geometric feature clustering and multi-dimensional tagging to synthesize and curate a highly balanced dataset, effectively handling long-tail layouts and rare document types. Furthermore, we propose a Three-Stage Progressive Training strategy that guides the model from pixel-level perception to logical structure generation. This curriculum includes: (1) Multi-task Pre-alignment to ground the model's understanding of document structure; (2) Specialized SFT for standardizing full-image Markdown output; and (3) Format-Constrained Group Relative Policy Optimization (GRPO), which utilizes reinforcement learning to enforce strict syntactic validity and structural integrity (e.g., table closure, formula syntax). Extensive evaluations on OmniDocBench v1.5 demonstrate that FireRed-OCR achieves state-of-the-art performance with an overall score of 92.94\%, significantly outperforming strong baselines such as DeepSeek-OCR 2 and OCRVerse across text, formula, table, and reading order metrics. We open-source our code and model weights to facilitate the ``General VLM to Specialized Structural Expert'' paradigm.

Technischer Bericht zu FireRed-OCR

FireRed-OCR Technical Report

Zusammenfassung

Support