PixelWorld: Verso la Percezione di Tutto come Pixel

PixelWorld: Towards Perceiving Everything as Pixels

January 31, 2025

Autori: Zhiheng Lyu, Xueguang Ma, Wenhu Chen

cs.AI

Abstract

I modelli di base esistenti elaborano tipicamente l'input visivo come pixel e l'input testuale come token, un paradigma che contrasta con la percezione umana, dove entrambe le modalità sono elaborate in modo unificato. Con la diffusione dell'IA incorporata e agente, dove gli input provengono principalmente dai pixel della fotocamera, diventa sempre più evidente la necessità di un framework di percezione unificato. In questo articolo, proponiamo di unificare tutte le modalità (testo, tabelle, codice, diagrammi, immagini, ecc.) come input pixel, cioè "Percepire Tutto come Pixel" (PEAP). Presentiamo PixelWorld, una nuova suite di valutazione che unifica tutte le modalità menzionate nello spazio dei pixel per valutare le prestazioni dei modelli esistenti. I nostri risultati mostrano che (1) PEAP supera il modello di base con input basato su token in dataset multimodali, beneficiando di un input unificato per una migliore disambiguazione, (2) significativi cali nelle capacità di ragionamento e codifica in tutti i modelli quando elaborano input basati su pixel, sottolineando la necessità di potenziare le capacità percettive dei modelli di base, (3) i modelli più grandi possono mantenere prestazioni solide su compiti non di ragionamento con PEAP, mentre modelli più piccoli come Phi-3.5-V subiscono significativi degradi delle prestazioni, (4) il modello di attenzione di PEAP è fortemente allineato con l'input token di testo, (5) PEAP può essere accelerato significativamente sfruttando la sparità spaziale. Concludiamo che i modelli di frontiera esistenti sono competenti nella percezione dei pixel, tuttavia, c'è ancora margine per miglioramenti. Il nostro codice e il dataset saranno resi disponibili una volta accettati.

English

Existing foundation models typically process visual input as pixels and textual input as tokens, a paradigm that contrasts with human perception, where both modalities are processed in a unified manner. With the rise of embodied and agentic AI, where inputs primarily come from camera pixels, the need for a unified perception framework becomes increasingly evident. In this paper, we propose to unify all modalities (text, tables, code, diagrams, images, etc) as pixel inputs, i.e. "Perceive Everything as Pixels" (PEAP). We introduce PixelWorld, a novel evaluation suite that unifies all the mentioned modalities into pixel space to gauge the existing models' performance. Our findings show that (1) PEAP outperforms baseline with token-based input in multimodal datasets, benefiting from unified input for better disambiguation, (2) significant declines in reasoning and coding capabilities across all models when processing pixel-based input, underscoring the need to enhance foundation models' perceptual abilities, (3) larger models can maintain strong performance on non-reasoning tasks under PEAP, while smaller models like Phi-3.5-V suffer significant performance degradation, (4) the attention pattern of PEAP is highly aligned with text token input, (5) PEAP can be accelerated significantly by exploiting the spatial sparsity. We conclude that the existing frontier models are competent in pixel perception, however, there is still headroom for improvement. Our code, dataset will be released upon acceptance.