PARCEL : Rééchantillonnage ancré à un pool avec requêtes élastiques conditionnées pour une compréhension efficace vision-langage

Résumé

Les grands modèles vision-langage (LVLMs) transforment les entrées visuelles en séquences denses de tokens, ce qui impose un goulot d'étranglement computationnel quadratique lors de l'inférence. La compression élastique des tokens visuels répond à ce problème en entraînant un seul modèle pouvant fonctionner avec plusieurs budgets de tokens visuels. Cependant, les approches existantes peinent sous une compression agressive. La compression uniquement spatiale, comme dans le pooling emboîté, se comporte comme un filtre passe-bas imparfait et induit un repliement spectral qui obscurcit les détails fins. La compression uniquement par requête, comme dans le rééchantillonnage emboîté de requêtes, remplace les tokens alignés sur une grille explicite par des résumés non locaux et dégrade considérablement l'ancrage spatial. Pour résoudre ce conflit représentationnel, nous introduisons PARCEL (Pool-Anchored Resampling with Conditioned Elastic Queries for Efficient Vision-Language Understanding — Rééchantillonnage Ancré par Pool avec Requêtes Élastiques Conditionnées pour une Compréhension Efficace Vision-Langage), une architecture de tokenisation visuelle qui partitionne dynamiquement le travail d'extraction de caractéristiques. PARCEL établit des tokens de pool spatiaux comme ancres de disposition basse fréquence et conditionne les tokens de requête élastiques sur ces ancres via un rééchantillonnage de requêtes conditionné par le pool. Cela encourage les tokens de requête à se concentrer sur des caractéristiques visuelles complémentaires plutôt que sur un mappage spatial redondant. Des évaluations approfondies sur 27 bancs d'essai montrent que PARCEL améliore la frontière de Pareto performance-efficacité, surpassant systématiquement les lignes de base matriochka existantes sur différents budgets de tokens visuels, tout en préservant le paradigme « entraîné une fois, déployé partout ».

English

Large Vision-Language Models (LVLMs) map visual inputs into dense token sequences, imposing a quadratic computational bottleneck for inference. Elastic visual-token compression addresses this by training a single model that can run at multiple visual-token budgets. However, existing approaches struggle under aggressive compression. Spatial-only compression, as in nested pooling, behaves as an imperfect low-pass filter and induces spectral aliasing that obscures fine-grained detail. Query-only compression, as in nested query resampling, replaces explicit grid-aligned tokens with non-local summaries and substantially degrades spatial grounding. To resolve this representational conflict, we introduce PARCEL (Pool-Anchored Resampling with Conditioned Elastic Queries for Efficient Vision-Language Understanding), a visual tokenization architecture that dynamically partitions the labor of feature extraction. PARCEL establishes spatial pool tokens as low-frequency layout anchors and conditions elastic query tokens on these anchors through Pool-Conditioned Query Resampling. This encourages query tokens to focus on complementary visual features rather than redundant spatial mapping. Extensive evaluations across 27 benchmarks show that PARCEL improves the performance-efficiency Pareto frontier, consistently outperforming existing matryoshka baselines across visual-token budgets while preserving the "train once, deploy anywhere" paradigm.