OneVision-Encoder: Codec-angepasste Sparsity als grundlegendes Prinzip für multimodale Intelligenz

OneVision-Encoder: Codec-Aligned Sparsity as a Foundational Principle for Multimodal Intelligence

February 9, 2026

papers.authors: Feilong Tang, Xiang An, Yunyao Yan, Yin Xie, Bin Qin, Kaicheng Yang, Yifei Shen, Yuanhan Zhang, Chunyuan Li, Shikun Feng, Changrui Chen, Huajie Tan, Ming Hu, Manyuan Zhang, Bo Li, Ziyong Feng, Ziwei Liu, Zongyuan Ge, Jiankang Deng

cs.AI

papers.abstract

Hypothese. Künstliche allgemeine Intelligenz ist im Kern ein Kompressionsproblem. Effektive Kompression erfordert Resonanz: Deep Learning skaliert am besten, wenn seine Architektur mit der fundamentalen Struktur der Daten übereinstimmt. Dies sind die grundlegenden Prinzipien. Dennoch haben sich moderne Vision-Architekturen von diesen Wahrheiten entfernt: Visuelle Signale sind hochgradig redundant, während diskriminative Information, die Überraschung, spärlich ist. Aktuelle Modelle verarbeiten dichte Pixelraster gleichmäßig und verschwenden immense Rechenleistung auf statische Hintergründe, anstatt sich auf die prädiktiven Residuen zu konzentrieren, die Bewegung und Bedeutung definieren. Wir vertreten die Ansicht, dass wir zur Lösung des visuellen Verständnisses unsere Architekturen an den informationstheoretischen Prinzipien von Video, d.h. an Codecs, ausrichten müssen. Methode. Der OneVision-Encoder kodiert Video, indem er prädiktive visuelle Struktur in semantische Bedeutung komprimiert. Durch die Übernahme von Codec-Patchification verlässt der OV-Encoder die gleichmäßige Berechnung und konzentriert sich ausschließlich auf die 3,1 % bis 25 % der Regionen, die reich an Signalentropie sind. Um räumliches und zeitliches Reasoning unter irregulären Token-Layouts zu vereinheitlichen, verwendet der OneVision-Encoder eine gemeinsame 3D-RoPE und wird mit einem groß angelegten Cluster-Diskriminierungsziel über mehr als eine Million semantischer Konzepte trainiert, wodurch Objektpermanenz und Bewegungsdynamik gemeinsam erfasst werden. Evidenz. Die Ergebnisse validieren unsere Kernhypothese: Effizienz und Genauigkeit sind kein Kompromiss; sie sind positiv korreliert. Bei der Integration in ein LLM übertrifft es durchgängig starke Vision-Backbones wie Qwen3-ViT und SigLIP2 über 16 Benchmarks für Bild-, Video- und Dokumentenverständnis, obwohl es wesentlich weniger visuelle Tokens und Vortrainingsdaten verwendet. Bemerkenswerterweise erzielt der OV-Encoder bei Video-Verständnisaufgaben eine durchschnittliche Verbesserung von 4,1 % gegenüber Qwen3-ViT. Codec-ausgerichtete, patch-level Sparsity ist ein grundlegendes Prinzip, das den OV-Encoder als skalierbare Engine für visuelle Generalisten der nächsten Generation ermöglicht.

English

Hypothesis. Artificial general intelligence is, at its core, a compression problem. Effective compression demands resonance: deep learning scales best when its architecture aligns with the fundamental structure of the data. These are the fundamental principles. Yet, modern vision architectures have strayed from these truths: visual signals are highly redundant, while discriminative information, the surprise, is sparse. Current models process dense pixel grids uniformly, wasting vast compute on static background rather than focusing on the predictive residuals that define motion and meaning. We argue that to solve visual understanding, we must align our architectures with the information-theoretic principles of video, i.e., Codecs. Method. OneVision-Encoder encodes video by compressing predictive visual structure into semantic meaning. By adopting Codec Patchification, OV-Encoder abandons uniform computation to focus exclusively on the 3.1%-25% of regions rich in signal entropy. To unify spatial and temporal reasoning under irregular token layouts, OneVision-Encoder employs a shared 3D RoPE and is trained with a large-scale cluster discrimination objective over more than one million semantic concepts, jointly capturing object permanence and motion dynamics. Evidence. The results validate our core hypothesis: efficiency and accuracy are not a trade-off; they are positively correlated. When integrated into LLM, it consistently outperforms strong vision backbones such as Qwen3-ViT and SigLIP2 across 16 image, video, and document understanding benchmarks, despite using substantially fewer visual tokens and pretraining data. Notably, on video understanding tasks, OV-Encoder achieves an average improvement of 4.1% over Qwen3-ViT. Codec-aligned, patch-level sparsity is a foundational principle, enabling OV-Encoder as a scalable engine for next-generation visual generalists.