El Principio de Cobertura: Un Marco para Comprender la Generalización Compositiva

The Coverage Principle: A Framework for Understanding Compositional Generalization

May 26, 2025

Autores: Hoyeon Chang, Jinho Park, Hanseul Cho, Sohee Yang, Miyoung Ko, Hyeonbin Hwang, Seungpil Won, Dohaeng Lee, Youbin Ahn, Minjoon Seo

cs.AI

Resumen

Los grandes modelos de lenguaje sobresalen en la coincidencia de patrones, pero a menudo fallan en la generalización composicional sistemática. Proponemos el principio de cobertura: un marco centrado en los datos que muestra que los modelos que dependen principalmente de la coincidencia de patrones para tareas composicionales no pueden generalizar de manera confiable más allá de sustituir fragmentos que producen resultados idénticos cuando se usan en los mismos contextos. Demostramos que este marco tiene un fuerte poder predictivo para las capacidades de generalización de los Transformers. Primero, derivamos y confirmamos empíricamente que los datos de entrenamiento requeridos para la generalización de dos saltos crecen al menos cuadráticamente con el tamaño del conjunto de tokens, y que la eficiencia de los datos de entrenamiento no mejora con un escalado de parámetros de 20x. Segundo, para tareas composicionales con ambigüedad de ruta donde una variable afecta la salida a través de múltiples rutas computacionales, mostramos que los Transformers aprenden representaciones de estado dependientes del contexto que socavan tanto el rendimiento como la interoperabilidad. Tercero, la supervisión de Cadena de Pensamiento mejora la eficiencia de los datos de entrenamiento para tareas de múltiples saltos, pero aún lucha con la ambigüedad de ruta. Finalmente, esbozamos una taxonomía basada en mecanismos que distingue tres formas en que las redes neuronales pueden generalizar: basada en estructura (limitada por la cobertura), basada en propiedades (aprovechando invarianzas algebraicas) y de operador compartido (a través de la reutilización de funciones). Esta lente conceptual contextualiza nuestros resultados y destaca dónde se necesitan nuevas ideas arquitectónicas para lograr una composicionalidad sistemática. En general, el principio de cobertura proporciona una lente unificada para entender el razonamiento composicional, y subraya la necesidad de innovaciones arquitectónicas o de entrenamiento fundamentales para lograr una composicionalidad verdaderamente sistemática.

English

Large language models excel at pattern matching, yet often fall short in systematic compositional generalization. We propose the coverage principle: a data-centric framework showing that models relying primarily on pattern matching for compositional tasks cannot reliably generalize beyond substituting fragments that yield identical results when used in the same contexts. We demonstrate that this framework has a strong predictive power for the generalization capabilities of Transformers. First, we derive and empirically confirm that the training data required for two-hop generalization grows at least quadratically with the token set size, and the training data efficiency does not improve with 20x parameter scaling. Second, for compositional tasks with path ambiguity where one variable affects the output through multiple computational paths, we show that Transformers learn context-dependent state representations that undermine both performance and interoperability. Third, Chain-of-Thought supervision improves training data efficiency for multi-hop tasks but still struggles with path ambiguity. Finally, we outline a mechanism-based taxonomy that distinguishes three ways neural networks can generalize: structure-based (bounded by coverage), property-based (leveraging algebraic invariances), and shared-operator (through function reuse). This conceptual lens contextualizes our results and highlights where new architectural ideas are needed to achieve systematic compositionally. Overall, the coverage principle provides a unified lens for understanding compositional reasoning, and underscores the need for fundamental architectural or training innovations to achieve truly systematic compositionality.