CAVEWOMAN: Hoe Grote Taalmodellen Zich Gedragen Bij Linguïstische Invoer- en Uitvoercompressie

Samenvatting

"Praat kort. Laat grammatica vallen. Bespaar tokens." Deze holbewoner-stijl wordt breed gepromoot als een manier om inferentiekosten te verlagen, maar of het daadwerkelijk iets bespaart, hangt af van welk kanaal (de prompt van de gebruiker of de respons van het model) wordt gecomprimeerd. We presenteren Cavewoman, een twee-kanaals evaluatieprotocol dat elke generatie beoordeelt op taaknauwkeurigheid, gerealiseerde kosten per item en overeenstemming met de referentietekst ten opzichte van de onbeperkte referentie van het model. We evalueren acht modellen op vijf datasets op vijf reductieniveaus, waarbij beide kanalen op dezelfde items worden gemeten. Uitvoercompressie verlaagt de gerealiseerde kosten bij de meeste API-modellen (1,4–2,4x per model, tot 3x in het beste geval) en bij alle vier open-gewichtenmodellen onder prijzen op openbaar niveau. Invoercompressie heeft het tegenovergestelde effect, een strikt verlies-verlies: het verhoogt de nettokosten in plaats van ze te verlagen (~1,15x op het gemiddelde van vijf benchmarks, tot 1,8x op de slechtste dataset en 2,7x bij sterkere compressie), omdat modellen compenseren met langere responsen, zelfs terwijl de nauwkeurigheid instort. Onder dezelfde instelling wijkt de oppervlakte-tekst af van de onbeperkte referentie: bij de niet-redenerende modellen is ongeveer de helft van alle generaties correct, maar hun oppervlakte-tekst impliceert niet langer de eigen onbeperkte basislijn van het model. De divergentie blijft bestaan na herbeoordeling met lengtecontrole, correctie voor meervoudige vergelijkingen en replicatie onder complementaire semantische metingen. Code en gegevens zijn beschikbaar op https://github.com/danielle34/cavewoman.

English

"Talk short. Drop grammar. Save token." This caveman style is widely promoted as a way to cut inference cost, but whether it actually saves anything depends on which channel (the user's prompt or the model's response) is being compressed. We present Cavewoman, a two-channel evaluation protocol that scores every generation on task accuracy, realized per-item cost, and reference-text agreement against the model's unconstrained reference. We evaluate eight models on five datasets at five reduction levels, with both channels measured on the same items. Output compression cuts realized cost on most API models (1.4-2.4x per model, up to 3x in the best case) and on all four open-weight models under public-tier pricing. Input compression has the opposite effect, a strict lose-lose: it raises net cost rather than lowering it (~1.15x on the five-benchmark mean, up to 1.8x on the worst dataset and 2.7x under stronger compression), because models compensate with longer responses even as accuracy collapses. Under the same setting, surface text diverges from the unconstrained reference: on the non-reasoning models, roughly half of all generations are correct yet their surface text no longer entails the model's own unconstrained baseline generation. The divergence survives length-controlled re-scoring, multiple-comparisons correction, and replication under complementary semantic measures. Code and data are available at https://github.com/danielle34/cavewoman.