Мир пикселей: к восприятию всего как пикселей

PixelWorld: Towards Perceiving Everything as Pixels

January 31, 2025

Авторы: Zhiheng Lyu, Xueguang Ma, Wenhu Chen

cs.AI

Аннотация

Существующие базовые модели обычно обрабатывают визуальный ввод как пиксели и текстовый ввод как токены, парадигма, противопоставленная восприятию человека, где обе модальности обрабатываются единым образом. С появлением инкорпорированных и агентных ИИ, где входные данные в основном поступают от пикселей камеры, становится все более очевидной необходимость в единой модели восприятия. В данной статье мы предлагаем объединить все модальности (текст, таблицы, код, диаграммы, изображения и т. д.) как входные данные в виде пикселей, т. е. "Воспринимать все как пиксели" (PEAP). Мы представляем PixelWorld, новый набор оценочных тестов, который объединяет все упомянутые модальности в пространстве пикселей для оценки производительности существующих моделей. Наши результаты показывают, что (1) PEAP превосходит базовую модель с входными данными на основе токенов в мультимодальных наборах данных, получая преимущество от единого ввода для лучшей дезамбигуации, (2) значительное снижение способностей к рассуждению и кодированию у всех моделей при обработке входных данных на основе пикселей, подчеркивая необходимость улучшения восприятия базовых моделей, (3) более крупные модели могут сохранять высокую производительность на задачах, не требующих рассуждений, в рамках PEAP, в то время как более маленькие модели, такие как Phi-3.5-V, страдают от значительного снижения производительности, (4) паттерн внимания PEAP тесно соотносится с входными данными в виде текстовых токенов, (5) PEAP может быть значительно ускорен за счет использования пространственной разреженности. Мы приходим к выводу, что существующие передовые модели компетентны в восприятии пикселей, однако еще есть место для улучшений. Наш код и набор данных будут опубликованы после принятия.

English

Existing foundation models typically process visual input as pixels and textual input as tokens, a paradigm that contrasts with human perception, where both modalities are processed in a unified manner. With the rise of embodied and agentic AI, where inputs primarily come from camera pixels, the need for a unified perception framework becomes increasingly evident. In this paper, we propose to unify all modalities (text, tables, code, diagrams, images, etc) as pixel inputs, i.e. "Perceive Everything as Pixels" (PEAP). We introduce PixelWorld, a novel evaluation suite that unifies all the mentioned modalities into pixel space to gauge the existing models' performance. Our findings show that (1) PEAP outperforms baseline with token-based input in multimodal datasets, benefiting from unified input for better disambiguation, (2) significant declines in reasoning and coding capabilities across all models when processing pixel-based input, underscoring the need to enhance foundation models' perceptual abilities, (3) larger models can maintain strong performance on non-reasoning tasks under PEAP, while smaller models like Phi-3.5-V suffer significant performance degradation, (4) the attention pattern of PEAP is highly aligned with text token input, (5) PEAP can be accelerated significantly by exploiting the spatial sparsity. We conclude that the existing frontier models are competent in pixel perception, however, there is still headroom for improvement. Our code, dataset will be released upon acceptance.