CAVEWOMAN: Wie sich große Sprachmodelle unter sprachlicher Eingabe- und Ausgabekomprimierung verhalten

Zusammenfassung

"Sprich kurz. Lass Grammatik weg. Spare Token." Dieser Höhlenmenschenstil wird weithin als Möglichkeit zur Senkung der Inferenzkosten beworben, doch ob tatsächlich etwas eingespart wird, hängt davon ab, welcher Kanal (die Eingabeaufforderung des Nutzers oder die Antwort des Modells) komprimiert wird. Wir stellen Cavewoman vor, ein Zwei-Kanal-Evaluationsprotokoll, das jede Generierung hinsichtlich Aufgabengenauigkeit, realisierter Kosten pro Element und Übereinstimmung mit dem Referenztext des Modells ohne Einschränkungen bewertet. Wir evaluieren acht Modelle auf fünf Datensätzen mit fünf Reduktionsstufen, wobei beide Kanäle an denselben Elementen gemessen werden. Ausgabekomprimierung senkt die realisierten Kosten bei den meisten API-Modellen (1,4- bis 2,4-fach pro Modell, im besten Fall bis zu 3-fach) und bei allen vier Open-Weight-Modellen unter öffentlicher Preisgestaltung. Eingabekomprimierung hat den gegenteiligen Effekt, eine strikte Verlust-Verlust-Situation: Sie erhöht die Nettokosten anstatt sie zu senken (~1,15-fach im Mittel über fünf Benchmarks, bis zu 1,8-fach beim schlechtesten Datensatz und 2,7-fach unter stärkerer Komprimierung), da die Modelle mit längeren Antworten kompensieren, während die Genauigkeit einbricht. Unter denselben Bedingungen weicht der Oberflächentext von der uneingeschränkten Referenz ab: Bei den nicht auf Reasoning ausgelegten Modellen sind etwa die Hälfte aller Generierungen korrekt, doch ihr Oberflächentext impliziert nicht mehr die eigene uneingeschränkte Basisgenerierung des Modells. Die Abweichung bleibt auch bei längenkontrollierter Neubewertung, Mehrfachvergleichskorrektur und Replikation unter komplementären semantischen Maßen bestehen. Code und Daten sind verfügbar unter https://github.com/danielle34/cavewoman.

English

"Talk short. Drop grammar. Save token." This caveman style is widely promoted as a way to cut inference cost, but whether it actually saves anything depends on which channel (the user's prompt or the model's response) is being compressed. We present Cavewoman, a two-channel evaluation protocol that scores every generation on task accuracy, realized per-item cost, and reference-text agreement against the model's unconstrained reference. We evaluate eight models on five datasets at five reduction levels, with both channels measured on the same items. Output compression cuts realized cost on most API models (1.4-2.4x per model, up to 3x in the best case) and on all four open-weight models under public-tier pricing. Input compression has the opposite effect, a strict lose-lose: it raises net cost rather than lowering it (~1.15x on the five-benchmark mean, up to 1.8x on the worst dataset and 2.7x under stronger compression), because models compensate with longer responses even as accuracy collapses. Under the same setting, surface text diverges from the unconstrained reference: on the non-reasoning models, roughly half of all generations are correct yet their surface text no longer entails the model's own unconstrained baseline generation. The divergence survives length-controlled re-scoring, multiple-comparisons correction, and replication under complementary semantic measures. Code and data are available at https://github.com/danielle34/cavewoman.