O raciocínio introduz novos ataques de envenenamento, mas os torna mais complexos.

Reasoning Introduces New Poisoning Attacks Yet Makes Them More Complicated

September 6, 2025

Autores: Hanna Foerster, Ilia Shumailov, Yiren Zhao, Harsh Chaudhari, Jamie Hayes, Robert Mullins, Yarin Gal

cs.AI

Resumo

Pesquisas iniciais sobre ataques de envenenamento de dados contra Modelos de Linguagem de Grande Escala (LLMs) demonstraram a facilidade com que backdoors poderiam ser injetados. Modelos mais recentes de LLMs incorporam raciocínio passo a passo, ampliando a superfície de ataque para incluir a cadeia de pensamento (CoT) intermediária e sua característica inerente de decompor problemas em subproblemas. Utilizando esses vetores para um envenenamento mais discreto, introduzimos o "envenenamento de raciocínio decomposto", no qual o atacante modifica apenas o caminho de raciocínio, mantendo os prompts e as respostas finais limpos, e divide o gatilho em múltiplos componentes individualmente inofensivos. Curiosamente, embora seja possível injetar esses venenos decompostos, ativá-los de forma confiável para alterar as respostas finais (em vez de apenas o CoT) é surpreendentemente difícil. Essa dificuldade surge porque os modelos frequentemente conseguem se recuperar de backdoors que são ativados durante seus processos de pensamento. No final das contas, parece que uma forma emergente de robustez contra backdoors está surgindo das capacidades de raciocínio desses LLMs avançados, bem como da separação arquitetônica entre o raciocínio e a geração da resposta final.

English

Early research into data poisoning attacks against Large Language Models (LLMs) demonstrated the ease with which backdoors could be injected. More recent LLMs add step-by-step reasoning, expanding the attack surface to include the intermediate chain-of-thought (CoT) and its inherent trait of decomposing problems into subproblems. Using these vectors for more stealthy poisoning, we introduce ``decomposed reasoning poison'', in which the attacker modifies only the reasoning path, leaving prompts and final answers clean, and splits the trigger across multiple, individually harmless components. Fascinatingly, while it remains possible to inject these decomposed poisons, reliably activating them to change final answers (rather than just the CoT) is surprisingly difficult. This difficulty arises because the models can often recover from backdoors that are activated within their thought processes. Ultimately, it appears that an emergent form of backdoor robustness is originating from the reasoning capabilities of these advanced LLMs, as well as from the architectural separation between reasoning and final answer generation.