TROPT: Uma Estrutura Aberta para Unificar e Avançar a Otimização de Texto Discreto

Resumo

A otimização discreta de acionadores textuais — a busca por sequências de texto que, quando ingeridas por um modelo, o direcionam a um objetivo específico — fundamenta atividades como teste de penetração (red teaming) em modelos (por exemplo, jailbreaks de LLMs), bem como auditoria e interpretabilidade. No entanto, o estado atual dos otimizadores discretos dificulta sua adoção e avanço. Primeiro, os otimizadores existentes, quando disponibilizados como código aberto, estão dispersos em bases de código de pesquisa amarradas a modelos, objetivos e domínios de problema específicos. Segundo, proliferam variantes de otimizadores, cada uma exigindo custos de engenharia para uso ou extensão, e permanecendo de difícil comparação direta. Juntos, esses fatores elevam a barreira para adotar otimizadores em domínios existentes ou novos, e para avançá-los por meio de novas estratégias. Abordamos essas lacunas com o TROPT, o primeiro framework de código aberto que unifica a execução de otimizadores discretos e padroniza seu desenvolvimento sob uma única interface. O TROPT facilita a personalização de receitas completas de otimização ao permitir a troca de qualquer componente — modelos, objetivos e otimizadores — ampliando seu alcance entre domínios e novas aplicações. Atualmente, o TROPT oferece mais de 30 receitas de otimização — abrangendo aplicações como jailbreaking e sondagem de mecanismos internos de modelos — construídas a partir de mais de 15 otimizadores (que vão de acesso caixa-branca a caixa-preta) e mais de 15 funções de perda, desde métodos fundamentais até os mais recentes. Demonstrando sua utilidade, empregamos o TROPT em diversos estudos: (i) experimentos controlados em larga escala que comparam e aprimoram estratégias de otimização para jailbreaks de LLMs, revelando técnicas potentes, porém subutilizadas; e (ii) adaptação de otimizadores de um domínio (por exemplo, jailbreak de LLM) para novos domínios (por exemplo, modelos de embeddings para envenenamento de corpus). Em suma, o TROPT reduz significativamente a barreira para adoção e avanço da otimização discreta textual.

English

Discrete text-trigger optimization -- searching for text sequences that, when ingested by a model, steer it toward a specified objective -- underpins model red-teaming (e.g., LLM jailbreaks), as well as auditing and interpretability. However, the current state of discrete optimizers hinders their adoption and progress. First, existing optimizers, when open-sourced at all, are scattered across research codebases tied to specific models, objectives, and problem domains. Second, optimizer variants proliferate, each requiring engineering overhead to use or extend, and remaining hard to compare head-to-head. Together, these raise the bar for adopting optimizers in existing or new domains, and for advancing them via new strategies. We address these gaps with TROPT, the first open-source framework that unifies discrete optimizers' execution and standardizes their development under a single interface. TROPT makes it easy to customize end-to-end optimization recipes by swapping any component -- models, objectives, and optimizers -- extending its reach across domains and new applications. TROPT currently ships with 30+ optimization recipes -- covering applications such as jailbreaking and probing model internals -- built from 15+ optimizers (spanning white-box to black-box access) and 15+ losses, from foundational to state-of-the-art methods. Demonstrating its utility, we leverage TROPT in several studies: (i) controlled, large-scale experiments comparing and enhancing optimization strategies for LLM jailbreaks, revealing potent-yet-underadopted techniques; and (ii) porting optimizers from one domain (e.g., LLM jailbreak) to new domains (e.g., corpus-poisoning embedding model). In all, TROPT significantly lowers the barrier to adopting and advancing discrete text optimization.