PixelWorld : Vers la perception de tout comme des pixels

PixelWorld: Towards Perceiving Everything as Pixels

January 31, 2025

Auteurs: Zhiheng Lyu, Xueguang Ma, Wenhu Chen

cs.AI

Résumé

Les modèles de base existants traitent généralement les entrées visuelles sous forme de pixels et les entrées textuelles sous forme de jetons, un paradigme qui contraste avec la perception humaine, où les deux modalités sont traitées de manière unifiée. Avec l'avènement de l'IA incarnée et agente, où les entrées proviennent principalement de pixels de caméra, la nécessité d'un cadre de perception unifié devient de plus en plus évidente. Dans cet article, nous proposons de unifier toutes les modalités (texte, tableaux, code, diagrammes, images, etc.) en tant qu'entrées de pixels, c'est-à-dire "Percevoir Tout comme des Pixels" (PEAP). Nous introduisons PixelWorld, une nouvelle suite d'évaluation qui unifie toutes les modalités mentionnées dans l'espace des pixels pour évaluer les performances des modèles existants. Nos résultats montrent que (1) PEAP surpasse la ligne de base avec une entrée basée sur des jetons dans les ensembles de données multimodaux, bénéficiant d'une entrée unifiée pour une meilleure désambiguïsation, (2) des baisses significatives des capacités de raisonnement et de codage sur tous les modèles lors du traitement d'une entrée basée sur des pixels, soulignant la nécessité d'améliorer les capacités perceptuelles des modèles de base, (3) les modèles plus grands peuvent maintenir de bonnes performances sur des tâches non liées au raisonnement sous PEAP, tandis que des modèles plus petits comme Phi-3.5-V subissent une dégradation significative des performances, (4) le schéma d'attention de PEAP est fortement aligné avec l'entrée de jetons de texte, (5) PEAP peut être considérablement accéléré en exploitant la sparsité spatiale. Nous concluons que les modèles de pointe existants sont compétents en matière de perception des pixels, cependant, il reste encore de la marge pour l'amélioration. Notre code, ensemble de données sera publié une fois accepté.

English

Existing foundation models typically process visual input as pixels and textual input as tokens, a paradigm that contrasts with human perception, where both modalities are processed in a unified manner. With the rise of embodied and agentic AI, where inputs primarily come from camera pixels, the need for a unified perception framework becomes increasingly evident. In this paper, we propose to unify all modalities (text, tables, code, diagrams, images, etc) as pixel inputs, i.e. "Perceive Everything as Pixels" (PEAP). We introduce PixelWorld, a novel evaluation suite that unifies all the mentioned modalities into pixel space to gauge the existing models' performance. Our findings show that (1) PEAP outperforms baseline with token-based input in multimodal datasets, benefiting from unified input for better disambiguation, (2) significant declines in reasoning and coding capabilities across all models when processing pixel-based input, underscoring the need to enhance foundation models' perceptual abilities, (3) larger models can maintain strong performance on non-reasoning tasks under PEAP, while smaller models like Phi-3.5-V suffer significant performance degradation, (4) the attention pattern of PEAP is highly aligned with text token input, (5) PEAP can be accelerated significantly by exploiting the spatial sparsity. We conclude that the existing frontier models are competent in pixel perception, however, there is still headroom for improvement. Our code, dataset will be released upon acceptance.