ピクセルワールド：すべてをピクセルとして認識する方向へ

PixelWorld: Towards Perceiving Everything as Pixels

January 31, 2025

著者: Zhiheng Lyu, Xueguang Ma, Wenhu Chen

cs.AI

要旨

既存の基盤モデルは、通常、視覚的入力をピクセルとして処理し、テキスト入力をトークンとして処理する。このパラダイムは、人間の知覚とは異なり、両方のモダリティが統一された方法で処理される。具体的には、カメラのピクセルからの入力が主体となる具現化されたAIや行為的AIの台頭に伴い、統一された知覚フレームワークの必要性がますます明らかになってきている。本論文では、すべてのモダリティ（テキスト、表、コード、図、画像など）をピクセル入力として統一することを提案する。「すべてをピクセルとして知覚する」（PEAP）というアプローチを導入する。我々は、PixelWorldという新しい評価スイートを紹介し、すべてのモダリティをピクセル空間に統合して既存のモデルのパフォーマンスを評価する。我々の調査結果は次の通りである：（1）PEAPは、複数モーダルデータセットにおいて、トークンベースの入力に比べて優れた性能を発揮し、統一された入力による曖昧さの解消の向上を得る、（2）ピクセルベースの入力を処理する際、すべてのモデルで推論力やコーディング能力が著しく低下することが明らかになり、基盤モデルの知覚能力を向上させる必要性が強調される、（3）大きなモデルはPEAPにおいて非推論的なタスクで強力なパフォーマンスを維持できる一方、Phi-3.5-Vのような小さなモデルは著しい性能の低下を経験する、（4）PEAPの注意パターンはテキストトークン入力と非常に一致している、（5）空間的まばらさを活用することでPEAPの処理を大幅に高速化できる。我々は、現行の先端モデルがピクセル知覚において有能であると結論付けるが、まだ改善の余地があると考える。我々のコードとデータセットは受理後に公開される予定である。

English

Existing foundation models typically process visual input as pixels and textual input as tokens, a paradigm that contrasts with human perception, where both modalities are processed in a unified manner. With the rise of embodied and agentic AI, where inputs primarily come from camera pixels, the need for a unified perception framework becomes increasingly evident. In this paper, we propose to unify all modalities (text, tables, code, diagrams, images, etc) as pixel inputs, i.e. "Perceive Everything as Pixels" (PEAP). We introduce PixelWorld, a novel evaluation suite that unifies all the mentioned modalities into pixel space to gauge the existing models' performance. Our findings show that (1) PEAP outperforms baseline with token-based input in multimodal datasets, benefiting from unified input for better disambiguation, (2) significant declines in reasoning and coding capabilities across all models when processing pixel-based input, underscoring the need to enhance foundation models' perceptual abilities, (3) larger models can maintain strong performance on non-reasoning tasks under PEAP, while smaller models like Phi-3.5-V suffer significant performance degradation, (4) the attention pattern of PEAP is highly aligned with text token input, (5) PEAP can be accelerated significantly by exploiting the spatial sparsity. We conclude that the existing frontier models are competent in pixel perception, however, there is still headroom for improvement. Our code, dataset will be released upon acceptance.