Mundo de Pixels: Rumo à Percepção de Tudo como Pixels

PixelWorld: Towards Perceiving Everything as Pixels

January 31, 2025

Autores: Zhiheng Lyu, Xueguang Ma, Wenhu Chen

cs.AI

Resumo

Os modelos de base existentes geralmente processam entradas visuais como pixels e entradas textuais como tokens, um paradigma que contrasta com a percepção humana, onde ambas as modalidades são processadas de forma unificada. Com o surgimento da IA encarnada e agente, onde as entradas vêm principalmente de pixels de câmera, a necessidade de um framework de percepção unificado torna-se cada vez mais evidente. Neste artigo, propomos unificar todas as modalidades (texto, tabelas, código, diagramas, imagens, etc.) como entradas de pixels, ou seja, "Perceber Tudo como Pixels" (PEAP). Apresentamos o PixelWorld, uma nova suíte de avaliação que unifica todas as modalidades mencionadas no espaço de pixels para avaliar o desempenho dos modelos existentes. Nossas descobertas mostram que (1) PEAP supera a linha de base com entrada baseada em tokens em conjuntos de dados multimodais, beneficiando-se de uma entrada unificada para melhor desambiguação, (2) declínios significativos nas capacidades de raciocínio e codificação em todos os modelos ao processar entradas baseadas em pixels, destacando a necessidade de aprimorar as habilidades perceptuais dos modelos de base, (3) modelos maiores podem manter um desempenho forte em tarefas não relacionadas ao raciocínio sob PEAP, enquanto modelos menores como Phi-3.5-V sofrem degradação significativa de desempenho, (4) o padrão de atenção de PEAP está altamente alinhado com a entrada de tokens de texto, (5) PEAP pode ser acelerado significativamente ao explorar a esparsidade espacial. Concluímos que os modelos de fronteira existentes são competentes na percepção de pixels, no entanto, ainda há espaço para melhorias. Nosso código e conjunto de dados serão disponibilizados após a aceitação.

English

Existing foundation models typically process visual input as pixels and textual input as tokens, a paradigm that contrasts with human perception, where both modalities are processed in a unified manner. With the rise of embodied and agentic AI, where inputs primarily come from camera pixels, the need for a unified perception framework becomes increasingly evident. In this paper, we propose to unify all modalities (text, tables, code, diagrams, images, etc) as pixel inputs, i.e. "Perceive Everything as Pixels" (PEAP). We introduce PixelWorld, a novel evaluation suite that unifies all the mentioned modalities into pixel space to gauge the existing models' performance. Our findings show that (1) PEAP outperforms baseline with token-based input in multimodal datasets, benefiting from unified input for better disambiguation, (2) significant declines in reasoning and coding capabilities across all models when processing pixel-based input, underscoring the need to enhance foundation models' perceptual abilities, (3) larger models can maintain strong performance on non-reasoning tasks under PEAP, while smaller models like Phi-3.5-V suffer significant performance degradation, (4) the attention pattern of PEAP is highly aligned with text token input, (5) PEAP can be accelerated significantly by exploiting the spatial sparsity. We conclude that the existing frontier models are competent in pixel perception, however, there is still headroom for improvement. Our code, dataset will be released upon acceptance.