OneVision-Encoder: La Dispersión Alineada con el Códec como Principio Fundamental para la Inteligencia Multimodal
OneVision-Encoder: Codec-Aligned Sparsity as a Foundational Principle for Multimodal Intelligence
February 9, 2026
Autores: Feilong Tang, Xiang An, Yunyao Yan, Yin Xie, Bin Qin, Kaicheng Yang, Yifei Shen, Yuanhan Zhang, Chunyuan Li, Shikun Feng, Changrui Chen, Huajie Tan, Ming Hu, Manyuan Zhang, Bo Li, Ziyong Feng, Ziwei Liu, Zongyuan Ge, Jiankang Deng
cs.AI
Resumen
**Hipótesis.** La inteligencia artificial general es, en esencia, un problema de compresión. La compresión efectiva exige resonancia: el aprendizaje profundo escala mejor cuando su arquitectura se alinea con la estructura fundamental de los datos. Estos son los principios fundamentales. Sin embargo, las arquitecturas de visión modernas se han alejado de estas verdades: las señales visuales son altamente redundantes, mientras que la información discriminativa, la sorpresa, es escasa. Los modelos actuales procesan uniformemente densas rejillas de píxeles, malgastando enormes recursos computacionales en fondos estáticos en lugar de centrarse en los residuos predictivos que definen el movimiento y el significado. Sostenemos que para resolver la comprensión visual, debemos alinear nuestras arquitecturas con los principios de la teoría de la información aplicados al video, es decir, con los Codecs.
**Método.** OneVision-Encoder codifica video comprimiendo la estructura visual predictiva en significado semántico. Al adoptar la Parcheificación por Codec, OV-Encoder abandona el cálculo uniforme para centrarse exclusivamente en el 3,1%-25% de las regiones ricas en entropía de la señal. Para unificar el razonamiento espacial y temporal bajo disposiciones irregulares de tokens, OneVision-Encoder emplea un 3D RoPE compartido y se entrena con un objetivo de discriminación por agrupación a gran escala sobre más de un millón de conceptos semánticos, capturando conjuntamente la permanencia del objeto y la dinámica del movimiento.
**Evidencia.** Los resultados validan nuestra hipótesis central: la eficiencia y la precisión no son una disyuntiva; están positivamente correlacionadas. Cuando se integra en un LLM, supera consistentemente a arquitecturas de visión robustas como Qwen3-ViT y SigLIP2 en 16 benchmarks de comprensión de imágenes, video y documentos, a pesar de utilizar sustancialmente menos tokens visuales y datos de preentrenamiento. Notablemente, en tareas de comprensión de video, OV-Encoder logra una mejora promedio del 4,1% sobre Qwen3-ViT. La escasez a nivel de parche, alineada con los codecs, es un principio fundamental que permite a OV-Encoder funcionar como un motor escalable para la próxima generación de sistemas visuales generalistas.
English
Hypothesis. Artificial general intelligence is, at its core, a compression problem. Effective compression demands resonance: deep learning scales best when its architecture aligns with the fundamental structure of the data. These are the fundamental principles. Yet, modern vision architectures have strayed from these truths: visual signals are highly redundant, while discriminative information, the surprise, is sparse. Current models process dense pixel grids uniformly, wasting vast compute on static background rather than focusing on the predictive residuals that define motion and meaning. We argue that to solve visual understanding, we must align our architectures with the information-theoretic principles of video, i.e., Codecs.
Method. OneVision-Encoder encodes video by compressing predictive visual structure into semantic meaning. By adopting Codec Patchification, OV-Encoder abandons uniform computation to focus exclusively on the 3.1%-25% of regions rich in signal entropy. To unify spatial and temporal reasoning under irregular token layouts, OneVision-Encoder employs a shared 3D RoPE and is trained with a large-scale cluster discrimination objective over more than one million semantic concepts, jointly capturing object permanence and motion dynamics.
Evidence. The results validate our core hypothesis: efficiency and accuracy are not a trade-off; they are positively correlated. When integrated into LLM, it consistently outperforms strong vision backbones such as Qwen3-ViT and SigLIP2 across 16 image, video, and document understanding benchmarks, despite using substantially fewer visual tokens and pretraining data. Notably, on video understanding tasks, OV-Encoder achieves an average improvement of 4.1% over Qwen3-ViT. Codec-aligned, patch-level sparsity is a foundational principle, enabling OV-Encoder as a scalable engine for next-generation visual generalists.