CAVEWOMAN : Comment les grands modèles de langage se comportent sous compression linguistique des entrées et des sorties

Résumé

« Parler court. Supprimer la grammaire. Économiser les tokens. » Ce style « homme des cavernes » est largement promu comme un moyen de réduire le coût d’inférence, mais son efficacité réelle dépend du canal compressé (la requête utilisateur ou la réponse du modèle). Nous présentons Cavewoman, un protocole d’évaluation bicanal qui note chaque génération selon la précision de la tâche, le coût réel par élément et l’accord avec le texte de référence issu du modèle non contraint. Nous évaluons huit modèles sur cinq jeux de données à cinq niveaux de réduction, les deux canaux étant mesurés sur les mêmes éléments. La compression en sortie réduit le coût réel pour la plupart des modèles d’API (1,4 à 2,4× par modèle, jusqu’à 3× dans le meilleur cas) et pour les quatre modèles à poids ouverts sous tarification publique. La compression en entrée produit l’effet inverse, une perte stricte : elle augmente le coût net au lieu de le réduire (~1,15× en moyenne sur les cinq benchmarks, jusqu’à 1,8× pour le jeu de données le plus défavorable et 2,7× sous compression plus forte), car les modèles compensent par des réponses plus longues, même si la précision s’effondre. Dans ce même cadre, le texte de surface diverge de la référence non contrainte : pour les modèles non raisonnants, environ la moitié des générations sont correctes, mais leur texte de surface n’implique plus la génération de base non contrainte du modèle. Cette divergence persiste après un nouveau score contrôlé par la longueur, une correction pour comparaisons multiples et une réplication sous mesures sémantiques complémentaires. Le code et les données sont disponibles à l’adresse https://github.com/danielle34/cavewoman.

English

"Talk short. Drop grammar. Save token." This caveman style is widely promoted as a way to cut inference cost, but whether it actually saves anything depends on which channel (the user's prompt or the model's response) is being compressed. We present Cavewoman, a two-channel evaluation protocol that scores every generation on task accuracy, realized per-item cost, and reference-text agreement against the model's unconstrained reference. We evaluate eight models on five datasets at five reduction levels, with both channels measured on the same items. Output compression cuts realized cost on most API models (1.4-2.4x per model, up to 3x in the best case) and on all four open-weight models under public-tier pricing. Input compression has the opposite effect, a strict lose-lose: it raises net cost rather than lowering it (~1.15x on the five-benchmark mean, up to 1.8x on the worst dataset and 2.7x under stronger compression), because models compensate with longer responses even as accuracy collapses. Under the same setting, surface text diverges from the unconstrained reference: on the non-reasoning models, roughly half of all generations are correct yet their surface text no longer entails the model's own unconstrained baseline generation. The divergence survives length-controlled re-scoring, multiple-comparisons correction, and replication under complementary semantic measures. Code and data are available at https://github.com/danielle34/cavewoman.