Aufmerksam vor Aufmerksamkeit: Effizientes und skalierbares Videoverständnis durch autoregressives Betrachten
Attend Before Attention: Efficient and Scalable Video Understanding via Autoregressive Gazing
March 12, 2026
Autoren: Baifeng Shi, Stephanie Fu, Long Lian, Hanrong Ye, David Eigen, Aaron Reite, Boyi Li, Jan Kautz, Song Han, David M. Chan, Pavlo Molchanov, Trevor Darrell, Hongxu Yin
cs.AI
Zusammenfassung
Multimodale große Sprachmodelle (MLLMs) haben das allgemeine Videoverständnis vorangetrieben, stoßen jedoch bei langen, hochauflösenden Videos an ihre Grenzen – sie verarbeiten jedes Pixel gleichermaßen in ihren Vision Transformern (ViTs) oder LLMs, trotz erheblicher raumzeitlicher Redundanz. Wir stellen AutoGaze vor, ein leichtgewichtiges Modul, das redundante Bildbereiche entfernt, bevor sie von einem ViT oder einem MLLM verarbeitet werden. Durch Training mit Next-Token-Prediction und bestärkendem Lernen wählt AutoGaze autoregressiv einen minimalen Satz multi-skaliger Bildbereiche aus, die das Video innerhalb eines benutzerdefinierten Fehlerschwellenwerts rekonstruieren können, wodurch Redundanz beseitigt wird, während die Information erhalten bleibt. Empirisch reduziert AutoGaze visuelle Tokens um das 4- bis 100-fache und beschleunigt ViTs und MLLMs um bis zum 19-fachen, was die Skalierung von MLLMs auf Videos mit 1.000 Frames und 4K-Auflösung ermöglicht und überlegene Ergebnisse auf Video-Benchmarks erzielt (z.B. 67,0 % auf VideoMME). Darüber hinaus stellen wir HLVid vor: den ersten High-Resolution, Long-Form Video-QA-Benchmark mit 5-minütigen 4K-Videos, bei dem ein mit AutoGaze skalierter MLLM die Baseline um 10,1 % übertrifft und das bisher beste MLLM um 4,5 % übertrifft. Projektseite: https://autogaze.github.io/.
English
Multi-modal large language models (MLLMs) have advanced general-purpose video understanding but struggle with long, high-resolution videos -- they process every pixel equally in their vision transformers (ViTs) or LLMs despite significant spatiotemporal redundancy. We introduce AutoGaze, a lightweight module that removes redundant patches before processed by a ViT or an MLLM. Trained with next-token prediction and reinforcement learning, AutoGaze autoregressively selects a minimal set of multi-scale patches that can reconstruct the video within a user-specified error threshold, eliminating redundancy while preserving information. Empirically, AutoGaze reduces visual tokens by 4x-100x and accelerates ViTs and MLLMs by up to 19x, enabling scaling MLLMs to 1K-frame 4K-resolution videos and achieving superior results on video benchmarks (e.g., 67.0% on VideoMME). Furthermore, we introduce HLVid: the first high-resolution, long-form video QA benchmark with 5-minute 4K-resolution videos, where an MLLM scaled with AutoGaze improves over the baseline by 10.1% and outperforms the previous best MLLM by 4.5%. Project page: https://autogaze.github.io/.