PixelWereld: Naar het waarnemen van alles als pixels

PixelWorld: Towards Perceiving Everything as Pixels

January 31, 2025

Auteurs: Zhiheng Lyu, Xueguang Ma, Wenhu Chen

cs.AI

Samenvatting

Bestaande foundation-modellen verwerken visuele input doorgaans als pixels en tekstuele input als tokens, een paradigma dat contrasteert met menselijke perceptie, waar beide modaliteiten op een geünificeerde manier worden verwerkt. Met de opkomst van belichaamde en agentieke AI, waarbij input voornamelijk afkomstig is van camerapixels, wordt de behoefte aan een geünificeerd perceptiekader steeds duidelijker. In dit artikel stellen we voor om alle modaliteiten (tekst, tabellen, code, diagrammen, afbeeldingen, enz.) te unificeren als pixel-inputs, d.w.z. "Alles waarnemen als Pixels" (PEAP). We introduceren PixelWorld, een nieuw evaluatiepakket dat alle genoemde modaliteiten in pixelruimte verenigt om de prestaties van bestaande modellen te meten. Onze bevindingen tonen aan dat (1) PEAP beter presteert dan de basislijn met op tokens gebaseerde input in multimodale datasets, profiterend van geünificeerde input voor betere disambiguatie, (2) significante afnames in redeneer- en codeervaardigheden bij alle modellen bij verwerking van pixel-gebaseerde input, waarbij de noodzaak wordt benadrukt om de perceptuele vaardigheden van foundation-modellen te verbeteren, (3) grotere modellen sterke prestaties kunnen behouden op niet-redenerende taken onder PEAP, terwijl kleinere modellen zoals Phi-3.5-V aanzienlijke prestatievermindering ondervinden, (4) het aandachtspatroon van PEAP sterk overeenkomt met tekst-token-input, (5) PEAP aanzienlijk kan worden versneld door gebruik te maken van de ruimtelijke spaarzaamheid. We concluderen dat de bestaande frontier-modellen bekwaam zijn in pixelwaarneming, echter, er is nog ruimte voor verbetering. Onze code, dataset zal worden vrijgegeven bij acceptatie.

English

Existing foundation models typically process visual input as pixels and textual input as tokens, a paradigm that contrasts with human perception, where both modalities are processed in a unified manner. With the rise of embodied and agentic AI, where inputs primarily come from camera pixels, the need for a unified perception framework becomes increasingly evident. In this paper, we propose to unify all modalities (text, tables, code, diagrams, images, etc) as pixel inputs, i.e. "Perceive Everything as Pixels" (PEAP). We introduce PixelWorld, a novel evaluation suite that unifies all the mentioned modalities into pixel space to gauge the existing models' performance. Our findings show that (1) PEAP outperforms baseline with token-based input in multimodal datasets, benefiting from unified input for better disambiguation, (2) significant declines in reasoning and coding capabilities across all models when processing pixel-based input, underscoring the need to enhance foundation models' perceptual abilities, (3) larger models can maintain strong performance on non-reasoning tasks under PEAP, while smaller models like Phi-3.5-V suffer significant performance degradation, (4) the attention pattern of PEAP is highly aligned with text token input, (5) PEAP can be accelerated significantly by exploiting the spatial sparsity. We conclude that the existing frontier models are competent in pixel perception, however, there is still headroom for improvement. Our code, dataset will be released upon acceptance.