プロプライエタリなLLM APIからの推論トレースの窃取

要旨

主要な大規模言語モデルプロバイダーは現在、知的財産の保護と情報漏えいの抑制のため、モデルの段階的推論、すなわち思考連鎖（chain-of-thought）を隠蔽している。こうしたトレースをサーバー側に保存する代わりに、プロバイダーは暗号化テキストのブロックとしてクライアントに返し、クライアントは後続の各リクエストでそのブロックを送り返す。先行研究に基づき、我々はアーキテクチャ上の脆弱性を特定する。すなわち、これらの暗号化ブロックは、プロバイダーのエコシステム内の異なるセッション、ユーザー、モデル間で完全に互換性があり、交換可能である。我々はこの互換性を悪用し、スケーラブルな復号ジェイルブレイクを開発する。特定のモデルから取得した暗号化推論トレースを、同じプロバイダーのより弱く保護の少ないモデルに注入することで、より高性能なモデルを直接ジェイルブレイクすることなく、そのモデルにトレースを復号させ平文でそのまま出力させる。この脆弱性により、4つの異なる攻撃ベクトルが可能になる。第一に、蒸留防止メカニズムを回避し、攻撃者がプロプライエタリモデルの推論を抽出できることを、Anthropic、OpenAI、Googleに対して実証する。第二に、大規模なプライベートデータ抽出が可能になる。開発者は暗号化ブロックの内容を知らずにセッションログを公開共有することが多い。公開リポジトリからスクレイピングした315,320個の推論ブロックを復号したところ、367件の個人識別情報（PII）と182件の認証情報を復元した。第三に、モデルの最終的な可視出力が悪意のあるリクエストを安全に拒否する場合でも、推論プロセス内に隠された危険な情報が意図せず明らかになる。第四に、攻撃者はこの欠陥を利用して、暗号化ブロック内に悪意のあるペイロードを完全に埋め込むことにより、目に見えないプロンプトインジェクションを実行し、公開エージェント型ロールアウトを汚染できる。責任ある開示の後、我々はクライアント側の推論を保護するための具体的な暗号学的およびシステムレベルの緩和策を提案する。

English

Leading large language model providers now conceal their models' step-by-step reasoning, or chain-of-thought, to protect intellectual property and limit information leakage. Rather than storing these traces server-side, providers return them to the client as blocks of encrypted text, which the client passes back with each subsequent request. Building on prior research, we identify an architectural vulnerability: these encrypted blocks are fully compatible and interchangeable across different sessions, users, and models within a provider's ecosystem. We exploit this compatibility to develop a scalable decryption jailbreak. By injecting an encrypted reasoning trace from a given model into a weaker, and less safeguarded model from the same provider, we force it to decode and output the trace verbatim in plaintext, without ever jailbreaking the more capable model directly. This vulnerability enables four distinct attack vectors. First, it circumvents anti-distillation mechanisms, allowing adversaries to extract a proprietary model's reasoning, as we demonstrate across Anthropic, OpenAI, and Google. Second, it allows for large-scale private data extraction. Developers frequently share session logs publicly, unaware of contents of the encrypted blocks. By decoding 315,320 reasoning blocks scraped from public repositories, we recovered 367 Personally Identifiable Information (PII) artifacts and 182 credentials. Third, it inadvertently reveals hazardous information hidden within the reasoning process, even in cases where the model's final, visible output safely rejects a malicious request. Fourth, attackers can leverage this flaw to execute invisible prompt injections, embedding malicious payloads entirely within encrypted blocks to poison public agentic rollouts. Following responsible disclosure, we propose concrete cryptographic and system-level mitigations to secure client-side reasoning.