Раскрытие системной уязвимости моделей с открытыми весами к атакам предварительного заполнения

Exposing the Systematic Vulnerability of Open-Weight Models to Prefill Attacks

February 16, 2026

Авторы: Lukas Struppek, Adam Gleave, Kellin Pelrine

cs.AI

Аннотация

По мере роста возможностей крупных языковых моделей увеличивается и потенциал их злонамеренного использования. Если закрытые модели обычно полагаются на внешние механизмы защиты, то модели с открытыми весами должны в основном зависеть от внутренних safeguards для предотвращения вредоносного поведения. Предыдущие исследования red-teaming в основном фокусировались на jailbreaking на основе входных данных и манипуляциях на уровне параметров. Однако модели с открытыми весами также изначально поддерживают предварительное заполнение (prefilling), что позволяет злоумышленнику заранее определить начальные токены ответа до начала генерации. Несмотря на свой потенциал, этот вектор атаки получил мало систематического внимания. Мы представляем самое масштабное на сегодняшний день эмпирическое исследование prefill-атак, оценивая более 20 существующих и новых стратегий на множестве семейств моделей и передовых моделей с открытыми весами. Наши результаты показывают, что prefill-атаки стабильно эффективны против всех основных современных моделей с открытыми весами, выявляя критическую и ранее недостаточно изученную уязвимость, имеющую серьезные последствия для развертывания. Хотя некоторые крупные модели, ориентированные на рассуждения, демонстрируют определенную устойчивость к универсальному предварительному заполнению, они остаются уязвимыми для специально подобранных, модельно-специфичных стратегий. Наши выводы подчеркивают настоятельную необходимость для разработчиков моделей уделить первостепенное внимание защите от prefill-атак в LLM с открытыми весами.

English

As the capabilities of large language models continue to advance, so does their potential for misuse. While closed-source models typically rely on external defenses, open-weight models must primarily depend on internal safeguards to mitigate harmful behavior. Prior red-teaming research has largely focused on input-based jailbreaking and parameter-level manipulations. However, open-weight models also natively support prefilling, which allows an attacker to predefine initial response tokens before generation begins. Despite its potential, this attack vector has received little systematic attention. We present the largest empirical study to date of prefill attacks, evaluating over 20 existing and novel strategies across multiple model families and state-of-the-art open-weight models. Our results show that prefill attacks are consistently effective against all major contemporary open-weight models, revealing a critical and previously underexplored vulnerability with significant implications for deployment. While certain large reasoning models exhibit some robustness against generic prefilling, they remain vulnerable to tailored, model-specific strategies. Our findings underscore the urgent need for model developers to prioritize defenses against prefill attacks in open-weight LLMs.