CAVEWOMAN: Как большие языковые модели ведут себя при лингвистическом сжатии ввода и вывода

Аннотация

"Говори кратко. Без грамматики. Экономь токены." Этот «пещерный» стиль широко пропагандируется как способ сокращения затрат на инференс, однако реальная экономия зависит от того, какой канал (пользовательский промпт или ответ модели) сжимается. Мы представляем Cavewoman — двухканальный протокол оценки, который для каждой генерации измеряет точность выполнения задачи, фактическую стоимость за элемент и согласованность с эталонным текстом, полученным от модели без ограничений. Мы оцениваем восемь моделей на пяти наборах данных при пяти уровнях сжатия, измеряя оба канала на одних и тех же элементах. Сжатие выходных данных снижает фактическую стоимость для большинства API-моделей (в 1,4–2,4 раза на модель, до 3 раз в лучшем случае) и для всех четырёх моделей с открытыми весами при публичных тарифах. Сжатие входных данных даёт противоположный эффект — строгий проигрыш по всем параметрам: оно повышает чистую стоимость, а не снижает её (примерно в 1,15 раза в среднем по пяти бенчмаркам, до 1,8 раза на худшем наборе данных и до 2,7 раза при более сильном сжатии), поскольку модели компенсируют это более длинными ответами, даже при резком падении точности. В тех же условиях поверхностный текст расходится с неограниченным эталоном: у моделей без рассуждений примерно половина всех генераций верна, но их поверхностный текст больше не подразумевает собственную неограниченную базовую генерацию модели. Это расхождение сохраняется при повторном оценивании с контролем длины, коррекции на множественные сравнения и воспроизводится с использованием дополнительных семантических мер. Код и данные доступны по адресу https://github.com/danielle34/cavewoman.

English

"Talk short. Drop grammar. Save token." This caveman style is widely promoted as a way to cut inference cost, but whether it actually saves anything depends on which channel (the user's prompt or the model's response) is being compressed. We present Cavewoman, a two-channel evaluation protocol that scores every generation on task accuracy, realized per-item cost, and reference-text agreement against the model's unconstrained reference. We evaluate eight models on five datasets at five reduction levels, with both channels measured on the same items. Output compression cuts realized cost on most API models (1.4-2.4x per model, up to 3x in the best case) and on all four open-weight models under public-tier pricing. Input compression has the opposite effect, a strict lose-lose: it raises net cost rather than lowering it (~1.15x on the five-benchmark mean, up to 1.8x on the worst dataset and 2.7x under stronger compression), because models compensate with longer responses even as accuracy collapses. Under the same setting, surface text diverges from the unconstrained reference: on the non-reasoning models, roughly half of all generations are correct yet their surface text no longer entails the model's own unconstrained baseline generation. The divergence survives length-controlled re-scoring, multiple-comparisons correction, and replication under complementary semantic measures. Code and data are available at https://github.com/danielle34/cavewoman.