CoIn: 상용 불투명 LLM API에서 보이지 않는 추론 토큰 수 계산하기

CoIn: Counting the Invisible Reasoning Tokens in Commercial Opaque LLM APIs

May 19, 2025

저자: Guoheng Sun, Ziyao Wang, Bowei Tian, Meng Liu, Zheyu Shen, Shwai He, Yexiao He, Wanghao Ye, Yiting Wang, Ang Li

cs.AI

초록

포스트 트레이닝 기술이 진화함에 따라, 대형 언어 모델(LLM)은 점점 더 구조화된 다단계 추론 능력으로 보강되고 있으며, 이는 종종 강화 학습을 통해 최적화됩니다. 이러한 추론 강화 모델은 복잡한 작업에서 표준 LLM을 능가하며, 현재 많은 상용 LLM API의 기반이 되고 있습니다. 그러나 독점적인 동작을 보호하고 장황함을 줄이기 위해, 제공자들은 일반적으로 추론 과정을 숨기고 최종 답변만 반환합니다. 이러한 불투명성은 중요한 투명성 격차를 초래합니다: 사용자는 보이지 않는 추론 토큰에 대해 비용을 지불하게 되는데, 이는 종종 비용의 대부분을 차지하지만, 그 진위를 확인할 수 있는 수단이 없습니다. 이는 토큰 카운트 인플레이션의 가능성을 열어주며, 제공자가 토큰 사용량을 과대 보고하거나, 합성된 저수준 토큰을 주입하여 요금을 부풀릴 수 있습니다. 이 문제를 해결하기 위해, 우리는 CoIn이라는 검증 프레임워크를 제안합니다. CoIn은 숨겨진 토큰의 수량과 의미적 유효성을 모두 감사합니다. CoIn은 토큰 임베딩 지문에서 검증 가능한 해시 트리를 구성하여 토큰 카운트를 확인하고, 임베딩 기반의 관련성 매칭을 사용하여 조작된 추론 내용을 탐지합니다. 실험 결과, CoIn은 신뢰할 수 있는 제3자 감사자로 배포될 때, 토큰 카운트 인플레이션을 최대 94.7%의 성공률로 효과적으로 탐지할 수 있으며, 불투명한 LLM 서비스에서 청구 투명성을 회복하는 강력한 능력을 보여줍니다. 데이터셋과 코드는 https://github.com/CASE-Lab-UMD/LLM-Auditing-CoIn에서 확인할 수 있습니다.

English

As post-training techniques evolve, large language models (LLMs) are increasingly augmented with structured multi-step reasoning abilities, often optimized through reinforcement learning. These reasoning-enhanced models outperform standard LLMs on complex tasks and now underpin many commercial LLM APIs. However, to protect proprietary behavior and reduce verbosity, providers typically conceal the reasoning traces while returning only the final answer. This opacity introduces a critical transparency gap: users are billed for invisible reasoning tokens, which often account for the majority of the cost, yet have no means to verify their authenticity. This opens the door to token count inflation, where providers may overreport token usage or inject synthetic, low-effort tokens to inflate charges. To address this issue, we propose CoIn, a verification framework that audits both the quantity and semantic validity of hidden tokens. CoIn constructs a verifiable hash tree from token embedding fingerprints to check token counts, and uses embedding-based relevance matching to detect fabricated reasoning content. Experiments demonstrate that CoIn, when deployed as a trusted third-party auditor, can effectively detect token count inflation with a success rate reaching up to 94.7%, showing the strong ability to restore billing transparency in opaque LLM services. The dataset and code are available at https://github.com/CASE-Lab-UMD/LLM-Auditing-CoIn.