CAVEWOMAN: Como Grandes Modelos de Linguagem se Comportam sob Compressão Linguística de Entrada e Saída

Resumo

"Fale curto. Elimine gramática. Economize token." Esse estilo das cavernas é amplamente promovido como forma de reduzir o custo de inferência, mas se realmente economiza algo depende de qual canal (o prompt do usuário ou a resposta do modelo) está sendo comprimido. Apresentamos Cavewoman, um protocolo de avaliação de dois canais que pontua cada geração quanto à precisão da tarefa, custo realizado por item e concordância com o texto de referência do modelo sem restrições. Avaliamos oito modelos em cinco conjuntos de dados em cinco níveis de redução, com ambos os canais medidos nos mesmos itens. A compressão de saída reduz o custo realizado na maioria dos modelos de API (1,4–2,4x por modelo, até 3x no melhor caso) e em todos os quatro modelos de pesos abertos sob preços de nível público. A compressão de entrada tem o efeito oposto, um estrito perde-perde: ela aumenta o custo líquido em vez de reduzi-lo (~1,15x na média dos cinco benchmarks, até 1,8x no pior conjunto de dados e 2,7x sob compressão mais forte), porque os modelos compensam com respostas mais longas mesmo enquanto a precisão colapsa. Sob a mesma configuração, o texto superficial diverge da referência sem restrições: nos modelos sem raciocínio, cerca de metade de todas as gerações estão corretas, mas seu texto superficial não implica mais a geração de base sem restrições do próprio modelo. A divergência sobrevive à reavaliação controlada por comprimento, à correção para comparações múltiplas e à replicação sob medidas semânticas complementares. Código e dados estão disponíveis em https://github.com/danielle34/cavewoman.

English

"Talk short. Drop grammar. Save token." This caveman style is widely promoted as a way to cut inference cost, but whether it actually saves anything depends on which channel (the user's prompt or the model's response) is being compressed. We present Cavewoman, a two-channel evaluation protocol that scores every generation on task accuracy, realized per-item cost, and reference-text agreement against the model's unconstrained reference. We evaluate eight models on five datasets at five reduction levels, with both channels measured on the same items. Output compression cuts realized cost on most API models (1.4-2.4x per model, up to 3x in the best case) and on all four open-weight models under public-tier pricing. Input compression has the opposite effect, a strict lose-lose: it raises net cost rather than lowering it (~1.15x on the five-benchmark mean, up to 1.8x on the worst dataset and 2.7x under stronger compression), because models compensate with longer responses even as accuracy collapses. Under the same setting, surface text diverges from the unconstrained reference: on the non-reasoning models, roughly half of all generations are correct yet their surface text no longer entails the model's own unconstrained baseline generation. The divergence survives length-controlled re-scoring, multiple-comparisons correction, and replication under complementary semantic measures. Code and data are available at https://github.com/danielle34/cavewoman.