OneVision-Encoder: Esparsidade Alinhada ao Codec como Princípio Fundamental para a Inteligência Multimodal
OneVision-Encoder: Codec-Aligned Sparsity as a Foundational Principle for Multimodal Intelligence
February 9, 2026
Autores: Feilong Tang, Xiang An, Yunyao Yan, Yin Xie, Bin Qin, Kaicheng Yang, Yifei Shen, Yuanhan Zhang, Chunyuan Li, Shikun Feng, Changrui Chen, Huajie Tan, Ming Hu, Manyuan Zhang, Bo Li, Ziyong Feng, Ziwei Liu, Zongyuan Ge, Jiankang Deng
cs.AI
Resumo
Hipótese. A inteligência artificial geral é, em sua essência, um problema de compressão. A compressão eficaz exige ressonância: o aprendizado profundo escala melhor quando sua arquitetura está alinhada com a estrutura fundamental dos dados. Estes são os princípios fundamentais. No entanto, as arquiteturas visuais modernas se afastaram dessas verdades: os sinais visuais são altamente redundantes, enquanto a informação discriminativa, a surpresa, é esparsa. Os modelos atuais processam grades densas de pixels de maneira uniforme, desperdiçando enorme poder computacional em fundos estáticos em vez de se concentrarem nos resíduos preditivos que definem o movimento e o significado. Argumentamos que, para resolver a compreensão visual, devemos alinhar nossas arquiteturas com os princípios da teoria da informação do vídeo, ou seja, os Codecs.
Método. O OneVision-Encoder codifica vídeo comprimindo a estrutura visual preditiva em significado semântico. Ao adotar a *Codec Patchification*, o OV-Encoder abandona o cálculo uniforme para focar exclusivamente nos 3,1% a 25% das regiões ricas em entropia de sinal. Para unificar o raciocínio espacial e temporal sob layouts de tokens irregulares, o OneVision-Encoder emprega um 3D RoPE compartilhado e é treinado com um objetivo de discriminação de clusters em larga escala sobre mais de um milhão de conceitos semânticos, capturando conjuntamente a permanência do objeto e a dinâmica do movimento.
Evidências. Os resultados validam nossa hipótese central: eficiência e precisão não são uma compensação (*trade-off*); elas estão positivamente correlacionadas. Quando integrado a um LLM, ele supera consistentemente *backbones* visuais robustos, como Qwen3-ViT e SigLIP2, em 16 benchmarks de compreensão de imagem, vídeo e documento, apesar de usar substancialmente menos tokens visuais e dados de pré-treinamento. Notavelmente, em tarefas de compreensão de vídeo, o OV-Encoder alcança uma melhoria média de 4,1% em relação ao Qwen3-ViT. A esparsidade no nível de *patches* alinhada com codecs é um princípio fundamental, permitindo que o OV-Encoder atue como um motor escalável para a próxima geração de modelos visuais generalistas.
English
Hypothesis. Artificial general intelligence is, at its core, a compression problem. Effective compression demands resonance: deep learning scales best when its architecture aligns with the fundamental structure of the data. These are the fundamental principles. Yet, modern vision architectures have strayed from these truths: visual signals are highly redundant, while discriminative information, the surprise, is sparse. Current models process dense pixel grids uniformly, wasting vast compute on static background rather than focusing on the predictive residuals that define motion and meaning. We argue that to solve visual understanding, we must align our architectures with the information-theoretic principles of video, i.e., Codecs.
Method. OneVision-Encoder encodes video by compressing predictive visual structure into semantic meaning. By adopting Codec Patchification, OV-Encoder abandons uniform computation to focus exclusively on the 3.1%-25% of regions rich in signal entropy. To unify spatial and temporal reasoning under irregular token layouts, OneVision-Encoder employs a shared 3D RoPE and is trained with a large-scale cluster discrimination objective over more than one million semantic concepts, jointly capturing object permanence and motion dynamics.
Evidence. The results validate our core hypothesis: efficiency and accuracy are not a trade-off; they are positively correlated. When integrated into LLM, it consistently outperforms strong vision backbones such as Qwen3-ViT and SigLIP2 across 16 image, video, and document understanding benchmarks, despite using substantially fewer visual tokens and pretraining data. Notably, on video understanding tasks, OV-Encoder achieves an average improvement of 4.1% over Qwen3-ViT. Codec-aligned, patch-level sparsity is a foundational principle, enabling OV-Encoder as a scalable engine for next-generation visual generalists.