CAVEWOMAN: Cómo se comportan los grandes modelos de lenguaje bajo compresión lingüística de entrada y salida

Resumen

"Hable breve. Quite gramática. Ahorre token." Este estilo cavernícola se promueve ampliamente como una forma de reducir el costo de inferencia, pero si realmente ahorra algo depende de qué canal (el prompt del usuario o la respuesta del modelo) se esté comprimiendo. Presentamos Cavewoman, un protocolo de evaluación de dos canales que puntúa cada generación en precisión de la tarea, costo realizado por ítem y concordancia con el texto de referencia no restringido del modelo. Evaluamos ocho modelos en cinco conjuntos de datos con cinco niveles de reducción, midiendo ambos canales en los mismos ítems. La compresión de salida reduce el costo realizado en la mayoría de los modelos API (1,4-2,4 veces por modelo, hasta 3 veces en el mejor caso) y en los cuatro modelos de peso abierto bajo tarifas de nivel público. La compresión de entrada tiene el efecto opuesto, una estricta pérdida-pérdida: aumenta el costo neto en lugar de reducirlo (~1,15 veces en la media de los cinco benchmarks, hasta 1,8 veces en el peor conjunto de datos y 2,7 veces bajo compresión más fuerte), porque los modelos compensan con respuestas más largas incluso mientras la precisión colapsa. Bajo la misma configuración, el texto superficial diverge de la referencia no restringida: en los modelos no razonadores, aproximadamente la mitad de todas las generaciones son correctas, pero su texto superficial ya no implica la generación basal no restringida del propio modelo. La divergencia persiste tras la repuntuación controlada por longitud, la corrección por comparaciones múltiples y la replicación bajo medidas semánticas complementarias. El código y los datos están disponibles en https://github.com/danielle34/cavewoman.

English

"Talk short. Drop grammar. Save token." This caveman style is widely promoted as a way to cut inference cost, but whether it actually saves anything depends on which channel (the user's prompt or the model's response) is being compressed. We present Cavewoman, a two-channel evaluation protocol that scores every generation on task accuracy, realized per-item cost, and reference-text agreement against the model's unconstrained reference. We evaluate eight models on five datasets at five reduction levels, with both channels measured on the same items. Output compression cuts realized cost on most API models (1.4-2.4x per model, up to 3x in the best case) and on all four open-weight models under public-tier pricing. Input compression has the opposite effect, a strict lose-lose: it raises net cost rather than lowering it (~1.15x on the five-benchmark mean, up to 1.8x on the worst dataset and 2.7x under stronger compression), because models compensate with longer responses even as accuracy collapses. Under the same setting, surface text diverges from the unconstrained reference: on the non-reasoning models, roughly half of all generations are correct yet their surface text no longer entails the model's own unconstrained baseline generation. The divergence survives length-controlled re-scoring, multiple-comparisons correction, and replication under complementary semantic measures. Code and data are available at https://github.com/danielle34/cavewoman.