CoIn: Contando los tokens de razonamiento invisibles en las API opacas de LLM comerciales

CoIn: Counting the Invisible Reasoning Tokens in Commercial Opaque LLM APIs

May 19, 2025

Autores: Guoheng Sun, Ziyao Wang, Bowei Tian, Meng Liu, Zheyu Shen, Shwai He, Yexiao He, Wanghao Ye, Yiting Wang, Ang Li

cs.AI

Resumen

A medida que las técnicas de posentrenamiento evolucionan, los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) están siendo cada vez más potenciados con capacidades estructuradas de razonamiento de múltiples pasos, frecuentemente optimizadas mediante aprendizaje por refuerzo. Estos modelos mejorados con razonamiento superan a los LLMs estándar en tareas complejas y ahora respaldan muchas APIs comerciales de LLMs. Sin embargo, para proteger comportamientos propietarios y reducir la verbosidad, los proveedores suelen ocultar los rastros de razonamiento, devolviendo únicamente la respuesta final. Esta opacidad introduce una brecha crítica de transparencia: los usuarios son facturados por tokens de razonamiento invisibles, que a menudo representan la mayor parte del costo, pero no tienen medios para verificar su autenticidad. Esto abre la puerta a la inflación en el conteo de tokens, donde los proveedores podrían reportar de más el uso de tokens o inyectar tokens sintéticos de bajo esfuerzo para inflar los cargos. Para abordar este problema, proponemos CoIn, un marco de verificación que audita tanto la cantidad como la validez semántica de los tokens ocultos. CoIn construye un árbol de hash verificable a partir de huellas digitales de incrustaciones de tokens para verificar los conteos de tokens, y utiliza coincidencias de relevancia basadas en incrustaciones para detectar contenido de razonamiento fabricado. Los experimentos demuestran que CoIn, cuando se implementa como un auditor de terceros confiable, puede detectar eficazmente la inflación en el conteo de tokens con una tasa de éxito de hasta el 94.7%, mostrando una fuerte capacidad para restaurar la transparencia en la facturación de servicios opacos de LLMs. El conjunto de datos y el código están disponibles en https://github.com/CASE-Lab-UMD/LLM-Auditing-CoIn.

English

As post-training techniques evolve, large language models (LLMs) are increasingly augmented with structured multi-step reasoning abilities, often optimized through reinforcement learning. These reasoning-enhanced models outperform standard LLMs on complex tasks and now underpin many commercial LLM APIs. However, to protect proprietary behavior and reduce verbosity, providers typically conceal the reasoning traces while returning only the final answer. This opacity introduces a critical transparency gap: users are billed for invisible reasoning tokens, which often account for the majority of the cost, yet have no means to verify their authenticity. This opens the door to token count inflation, where providers may overreport token usage or inject synthetic, low-effort tokens to inflate charges. To address this issue, we propose CoIn, a verification framework that audits both the quantity and semantic validity of hidden tokens. CoIn constructs a verifiable hash tree from token embedding fingerprints to check token counts, and uses embedding-based relevance matching to detect fabricated reasoning content. Experiments demonstrate that CoIn, when deployed as a trusted third-party auditor, can effectively detect token count inflation with a success rate reaching up to 94.7%, showing the strong ability to restore billing transparency in opaque LLM services. The dataset and code are available at https://github.com/CASE-Lab-UMD/LLM-Auditing-CoIn.