GridProbe: Posterior-Probing voor adaptieve testtijdberekening in lange-video VLMs

Samenvatting

Het begrijpen van lange video's in VLMs wordt beperkt door een enkele monolitische forward pass over duizenden frames met kwadratische aandachtskosten. Een gebruikelijke oplossing is om eerst een kleine subset van informatieve frames te selecteren vóór de forward pass; dit is gebruikelijk voor trainingsvrije selectoren via overeenkomsten in de hulpencoderruimte. Dergelijke signalen worden begrensd door contrastieve pretraining, die meestal faalt bij redeneerzware queries (ontkenning, cross-frame tellen, holistische samenvatting). Wij stellen GridProbe voor, een efficiënt trainingsvrij posterior-probing-inferentieparadigma dat bewijs scoort in antwoordruimte met behulp van de eigen redenering van een bevroren VLM en vervolgens vraagrelevante frames adaptief selecteert, wat resulteert in subkwadratische aandachtskosten met weinig tot geen nauwkeurigheidsverlies. We rangschikken frames op een K×K-raster en voeren lichtgewicht rij-R- en kolom-C-probes uit, waarbij elke probe zijn piek posterior leest als een query-geconditioneerd vertrouwen. Het buitenproduct van R en C levert een interpreteerbare belangrijkheidskaart op waarvan de scheefheid en kurtosis de Shape-Adaptive Selection aandrijven, een gesloten-vormregel die het vaste framebudget M betrouwbaar vervangt door een per-vraag M_eff. We tonen empirisch aan dat M_eff de intrinsieke vraagmoeilijkheid volgt zonder ooit het antwoord te zien, een teken van adaptief rekenen tijdens de test. Op Video-MME-v2 evenaart GridProbe de monolitische baseline binnen 1,6 pp gemiddelde nauwkeurigheid bij 3,36× TFLOPs-reductie, terwijl het op LongVideoBench de baseline Pareto-domineert (+0,9 pp bij 0,35× rekenkracht). Omdat de selector en QA-modellen kunnen worden ontkoppeld, is het koppelen van een kleine 2B-selector met een sterkere 4B- of 8B-QA strikt Pareto-dominant over de 2B-monolitische baseline (tot +4,0 pp bij 0,52× rekenkracht, gemiddeld), zonder hertraining. Ten slotte opent de interpreteerbaarheid van de belangrijkheidskaarten toekomstige wegen voor gedragsdiagnostiek, gronding en frameselectiedistillatie.

English

Long-video understanding in VLMs is bottlenecked by a single monolithic forward pass over thousands of frames at quadratic attention cost. A common mitigation is to first select a small subset of informative frames before the forward pass; common for training-free selectors via auxiliary encoder-space similarities. Such signals are capped by contrastive pretraining, which usually fails on reasoning-heavy queries (negation, cross-frame counting, holistic summarization). We propose GridProbe, an efficient training-free posterior-probing inference paradigm that scores evidence in answer space using a frozen VLM's own reasoning and then selects question-relevant frames adaptively, resulting in sub-quadratic attention cost with little to no accuracy loss. We arrange frames on a K{times}K grid and run lightweight row R and column C probes, where each probe reads its peak posterior as a query-conditioned confidence. The outer product of R and C yields an interpretable importance map whose skewness and kurtosis drive Shape-Adaptive Selection, a closed-form rule that reliably replaces the fixed frame budget M with a per-question M_{eff}. We show empirically that M_{eff} tracks intrinsic question difficulty without ever seeing the answer, a sign of test-time adaptive compute. On Video-MME-v2, GridProbe matches the monolithic baseline within 1.6 pp Avg Acc at 3.36times TFLOPs reduction, while on LongVideoBench it Pareto-dominates the baseline (+0.9 pp at 0.35times compute). Because the selector and QA models can be decoupled, pairing a small 2B selector with a stronger 4B or 8B QA is strictly Pareto-dominant over the 2B monolithic baseline (up to +4.0 pp at 0.52times compute, on average), with no retraining. Finally, the interpretability of the importance maps opens future avenues for behavioral diagnostics, grounding, and frame-selection distillation.