압축 속에서 길을 잃다: 추출적 프롬프트 압축기에 대한 통제된 교차언어 감사

초록

추출적 프롬프트 압축은 정보량이 낮은 토큰을 제거하여 LLM 추론 비용을 절감할 것을 약속하며, LLMLingua-2와 같은 학습 기반 압축기는 영어 벤치마크에서 강력한 결과를 보고한다. 대부분의 다른 언어는 이미 토큰 프리미엄을 지불하고 있다. 동일한 내용이 영어보다 1.3~1.8배 더 많은 토큰을 소비한다. 우리는 압축이 이 격차를 좁히는지, 아니면 확대하는지를 묻는다. 5개 문자 체계에 걸친 10개 언어의 완전 병렬 데이터와 대상 모델의 토크나이저로 토큰 예산을 일치시킨 대조군을 사용하여, 우리는 10개 업체의 11개 대상 모델에 대해 4개의 학습 기반 압축기를 4개의 결정론적 기준선과 대조 평가했다(총 25만 회 이상의 평가 호출). 압축기 중 3개는 영어 지도로 훈련되었다(LLMLingua-2 XLM-R/mBERT, 프로덕션 Headroom 스택의 Kompress-v2). 네 번째인 XProvence는 다국어로 훈련되었다. 첫째, 전이 격차는 실재하며, 대상 모델과 압축기 백본에 걸쳐 재현되고, 비율에 크게 의존한다. 유지 비율 0.33에서 영어는 정규화된 컨텍스트 활용도의 57~62%를 유지하는 반면, 리투아니아어는 10~24%, 중국어는 사실상 0%를 유지한다. 중국어는 토큰 프리미엄이 가장 작음에도 불구하고 그렇다. 둘째, 이 격차는 아키텍처가 아니라 압축 지도 데이터를 따라간다. 영어 지도로 훈련된 3개의 압축기 모두에서 나타나며, 결정론적 방법에서는 이에 필적할 만한 격차가 없고, 다국어로 훈련된 XProvence v1에서는 전혀 나타나지 않는다. 이 압축기의 v2 버전은 번역된 데이터로 재훈련되었는데, 공격적인 임계값에서 아무런 경고 없이 중국어 컨텍스트의 92%를 비워 버린다. 셋째, 더 어려운 장문 컨텍스트 설정에서 공격적인 학습 기반 압축은 5개 비영어 언어 중 3개에서 압축된 컨텍스트를 컨텍스트가 없을 때의 효용과 같거나 그 이하로 떨어뜨린다. 번역 후 압축 파이프라인은 테스트한 5개 언어 중 3개에서 대략 절반의 토큰 비용으로 네이티브 압축과 비슷하거나 더 나은 성능을 보인다. 우리는 모든 코드, 압축 결과물, 모델 출력을 공개한다. 안전한 압축 예산은 영어 외 언어에서 훨씬 더 작다.

English

Extractive prompt compression promises to cut LLM inference costs by removing low-information tokens, and learned compressors such as LLMLingua-2 report strong results on English benchmarks. Most other languages already pay a token premium: the same content costs 1.3-1.8x more tokens than in English. We ask whether compression closes or widens this gap. Using fully parallel data in ten languages spanning five scripts, with controls budget-matched in the target model's tokenizer, we audit four learned compressors against four deterministic baselines, on eleven target models from ten vendors (over 250,000 evaluation calls). Three of the compressors are trained with English supervision (LLMLingua-2 XLM-R/mBERT; Kompress-v2 from the production Headroom stack); the fourth, XProvence, is trained multilingually. First, the transfer gap is real, replicates across target models and compressor backbones, and is strongly rate-dependent: at a 0.33 keep-rate English retains 57-62% of normalized context utilization while Lithuanian retains 10-24% and Chinese essentially none, despite Chinese having the smallest token premium. Second, the gap tracks compression supervision data, not architecture. All three English-trained compressors show it, deterministic methods show no comparable gap, and the multilingually trained XProvence v1 shows none. Its v2 release, retrained on translated data, empties 92% of Chinese contexts at its aggressive threshold without any warning. Third, in a harder long-context setting, aggressive learned compression drives compressed contexts to or below no-context utility in three of five non-English languages. A translate-then-compress pipeline matches or beats native compression at roughly half the token cost in three of five tested languages. We release all code, compressions, and model outputs. Safe compression budgets are much smaller outside English.