PixelWelt: Auf dem Weg, alles als Pixel wahrzunehmen

PixelWorld: Towards Perceiving Everything as Pixels

January 31, 2025

Autoren: Zhiheng Lyu, Xueguang Ma, Wenhu Chen

cs.AI

Zusammenfassung

Bestehende Grundlagenmodelle verarbeiten visuelle Eingaben in der Regel als Pixel und textuelle Eingaben als Token, ein Paradigma, das im Gegensatz zur menschlichen Wahrnehmung steht, wo beide Modalitäten auf vereinheitlichte Weise verarbeitet werden. Mit dem Aufkommen von verkörpertem und agierendem KI, bei dem die Eingaben hauptsächlich von Kamerapixeln stammen, wird die Notwendigkeit eines vereinheitlichten Wahrnehmungsrahmens zunehmend deutlich. In diesem Artikel schlagen wir vor, alle Modalitäten (Text, Tabellen, Code, Diagramme, Bilder usw.) als Pixel-Eingaben zu vereinheitlichen, d.h. "Alles als Pixel wahrnehmen" (PEAP). Wir stellen PixelWorld vor, eine neuartige Evaluierungssuite, die alle genannten Modalitäten in den Pixelraum vereinheitlicht, um die Leistung der bestehenden Modelle zu bewerten. Unsere Ergebnisse zeigen, dass (1) PEAP in multimodalen Datensätzen die Baseline mit tokenbasierten Eingaben übertrifft, indem es von vereinheitlichten Eingaben für eine bessere Disambiguierung profitiert, (2) signifikante Rückgänge in den Denk- und Kodierfähigkeiten aller Modelle bei der Verarbeitung von pixelbasierten Eingaben, was die Notwendigkeit unterstreicht, die Wahrnehmungsfähigkeiten der Grundlagenmodelle zu verbessern, (3) größere Modelle eine starke Leistung bei nicht-denkbasierten Aufgaben unter PEAP aufrechterhalten können, während kleinere Modelle wie Phi-3.5-V erhebliche Leistungsabfälle verzeichnen, (4) das Aufmerksamkeitsmuster von PEAP stark mit textuellen Token-Eingaben übereinstimmt, (5) PEAP kann durch die Nutzung der räumlichen Sparsamkeit erheblich beschleunigt werden. Wir kommen zu dem Schluss, dass die bestehenden Spitzenmodelle in der Pixelwahrnehmung kompetent sind, es jedoch noch Raum für Verbesserungen gibt. Unser Code und Datensatz werden nach Annahme veröffentlicht.

English

Existing foundation models typically process visual input as pixels and textual input as tokens, a paradigm that contrasts with human perception, where both modalities are processed in a unified manner. With the rise of embodied and agentic AI, where inputs primarily come from camera pixels, the need for a unified perception framework becomes increasingly evident. In this paper, we propose to unify all modalities (text, tables, code, diagrams, images, etc) as pixel inputs, i.e. "Perceive Everything as Pixels" (PEAP). We introduce PixelWorld, a novel evaluation suite that unifies all the mentioned modalities into pixel space to gauge the existing models' performance. Our findings show that (1) PEAP outperforms baseline with token-based input in multimodal datasets, benefiting from unified input for better disambiguation, (2) significant declines in reasoning and coding capabilities across all models when processing pixel-based input, underscoring the need to enhance foundation models' perceptual abilities, (3) larger models can maintain strong performance on non-reasoning tasks under PEAP, while smaller models like Phi-3.5-V suffer significant performance degradation, (4) the attention pattern of PEAP is highly aligned with text token input, (5) PEAP can be accelerated significantly by exploiting the spatial sparsity. We conclude that the existing frontier models are competent in pixel perception, however, there is still headroom for improvement. Our code, dataset will be released upon acceptance.