독점 LLM API로부터 추론 흔적 탈취

초록

주요 대규모 언어 모델 제공업체들은 이제 지적 재산을 보호하고 정보 유출을 제한하기 위해 모델의 단계별 추론 과정, 즉 사고 사슬(chain-of-thought)을 숨기고 있다. 제공업체는 이러한 추적 기록을 서버 측에 저장하는 대신 암호화된 텍스트 블록 형태로 클라이언트에 반환하며, 클라이언트는 이후의 각 요청에 이를 다시 전달한다. 우리는 선행 연구를 기반으로 구조적 취약점을 식별한다. 이러한 암호화된 블록은 제공업체 생태계 내에서 서로 다른 세션, 사용자, 모델 간에 완전히 호환되고 상호 교환이 가능하다는 점이다. 우리는 이러한 호환성을 악용하여 확장 가능한 복호화 탈옥 기법을 개발한다. 특정 모델의 암호화된 추론 추적 기록을 동일 제공업체의 더 약하고 보호 장치가 덜 갖춰진 모델에 주입함으로써, 더 강력한 모델을 직접 탈옥하지 않고도 해당 모델이 추적 기록을 해독하여 평문으로 그대로 출력하도록 강제할 수 있다. 이러한 취약점은 네 가지 별개의 공격 벡터를 가능하게 한다. 첫째, 증류 방지 메커니즘을 우회하여 공격자가 독점 모델의 추론 내용을 추출할 수 있게 하며, 우리는 이를 Anthropic, OpenAI, Google에서 입증한다. 둘째, 대규모 개인 데이터 추출을 가능하게 한다. 개발자들은 암호화된 블록의 내용을 인지하지 못한 채 세션 로그를 공개적으로 공유하는 경우가 빈번하다. 공개 저장소에서 수집한 315,320개의 추론 블록을 복호화하여 우리는 367개의 개인 식별 정보(PII) 항목과 182개의 자격 증명을 복구했다. 셋째, 모델의 최종 가시적 출력이 악의적인 요청을 안전하게 거부하는 경우에도, 추론 과정에 숨겨진 위험한 정보가 의도치 않게 노출된다. 넷째, 공격자는 이 결함을 활용하여 암호화된 블록 내에 악성 페이로드를 완전히 내장함으로써 보이지 않는 프롬프트 주입을 실행하고 공개 에이전트 배포를 오염시킬 수 있다. 책임 있는 공개 절차에 따라, 우리는 클라이언트 측 추론을 보호하기 위한 구체적인 암호화 및 시스템 수준의 완화 방안을 제안한다.

English

Leading large language model providers now conceal their models' step-by-step reasoning, or chain-of-thought, to protect intellectual property and limit information leakage. Rather than storing these traces server-side, providers return them to the client as blocks of encrypted text, which the client passes back with each subsequent request. Building on prior research, we identify an architectural vulnerability: these encrypted blocks are fully compatible and interchangeable across different sessions, users, and models within a provider's ecosystem. We exploit this compatibility to develop a scalable decryption jailbreak. By injecting an encrypted reasoning trace from a given model into a weaker, and less safeguarded model from the same provider, we force it to decode and output the trace verbatim in plaintext, without ever jailbreaking the more capable model directly. This vulnerability enables four distinct attack vectors. First, it circumvents anti-distillation mechanisms, allowing adversaries to extract a proprietary model's reasoning, as we demonstrate across Anthropic, OpenAI, and Google. Second, it allows for large-scale private data extraction. Developers frequently share session logs publicly, unaware of contents of the encrypted blocks. By decoding 315,320 reasoning blocks scraped from public repositories, we recovered 367 Personally Identifiable Information (PII) artifacts and 182 credentials. Third, it inadvertently reveals hazardous information hidden within the reasoning process, even in cases where the model's final, visible output safely rejects a malicious request. Fourth, attackers can leverage this flaw to execute invisible prompt injections, embedding malicious payloads entirely within encrypted blocks to poison public agentic rollouts. Following responsible disclosure, we propose concrete cryptographic and system-level mitigations to secure client-side reasoning.