PARCEL: Remuestreo Anclado en Pool con Consultas Elásticas Condicionadas para Comprensión Eficiente de Visión y Lenguaje

Resumen

Los modelos grandes de visión y lenguaje (LVLMs, por sus siglas en inglés) mapean las entradas visuales en secuencias densas de tokens, imponiendo un cuello de botella computacional cuadrático para la inferencia. La compresión elástica de tokens visuales aborda esto entrenando un solo modelo que puede ejecutarse con múltiples presupuestos de tokens visuales. Sin embargo, los enfoques existentes tienen dificultades bajo una compresión agresiva. La compresión solo espacial, como en el pooling anidado, se comporta como un filtro de paso bajo imperfecto e induce aliasing espectral que oscurece los detalles finos. La compresión solo de consultas, como en el remuestreo de consultas anidadas, reemplaza los tokens alineados en una rejilla explícita por resúmenes no locales y degrada sustancialmente la fundamentación espacial. Para resolver este conflicto representacional, presentamos PARCEL (Remuestreo Anclado en Pooling con Consultas Elásticas Condicionadas para una Comprensión Eficiente de Visión y Lenguaje), una arquitectura de tokenización visual que divide dinámicamente el trabajo de extracción de características. PARCEL establece tokens de pooling espacial como anclajes de diseño de baja frecuencia y condiciona los tokens de consulta elástica en estos anclajes mediante el Remuestreo de Consultas Condicionado por Pooling. Esto alienta a los tokens de consulta a centrarse en características visuales complementarias en lugar de en un mapeo espacial redundante. Evaluaciones exhaustivas en 27 puntos de referencia muestran que PARCEL mejora la frontera de Pareto entre rendimiento y eficiencia, superando consistentemente las líneas base matryoshka existentes en todos los presupuestos de tokens visuales, preservando al mismo tiempo el paradigma de "entrenar una vez, implementar en cualquier lugar".

English

Large Vision-Language Models (LVLMs) map visual inputs into dense token sequences, imposing a quadratic computational bottleneck for inference. Elastic visual-token compression addresses this by training a single model that can run at multiple visual-token budgets. However, existing approaches struggle under aggressive compression. Spatial-only compression, as in nested pooling, behaves as an imperfect low-pass filter and induces spectral aliasing that obscures fine-grained detail. Query-only compression, as in nested query resampling, replaces explicit grid-aligned tokens with non-local summaries and substantially degrades spatial grounding. To resolve this representational conflict, we introduce PARCEL (Pool-Anchored Resampling with Conditioned Elastic Queries for Efficient Vision-Language Understanding), a visual tokenization architecture that dynamically partitions the labor of feature extraction. PARCEL establishes spatial pool tokens as low-frequency layout anchors and conditions elastic query tokens on these anchors through Pool-Conditioned Query Resampling. This encourages query tokens to focus on complementary visual features rather than redundant spatial mapping. Extensive evaluations across 27 benchmarks show that PARCEL improves the performance-efficiency Pareto frontier, consistently outperforming existing matryoshka baselines across visual-token budgets while preserving the "train once, deploy anywhere" paradigm.