ChatPaper.aiChatPaper

Никаких скрытых промптов не нужно! Вы можете обыграть AI-рецензирование с помощью правок, затрагивающих только оформление.

No Hidden Prompts Needed! You Can Game AI Peer Review with Presentation-Only Revisions

June 11, 2026
Авторы: Xu Yang, Zhizhou Sha, Junbo Li, Jian Yu, Yifan Sun, Matthew Zhao, Jinrui Fang, Xinyue Guo, Yining Wu, Xu Hu, Yifu Luo, Qiang Liu, Zhangyang Wang
cs.AI

Аннотация

По мере того как обзоры, сгенерированные ИИ, переходят от экспериментальных инструментов в инфраструктуру рецензирования, основные опасения по поводу устойчивости были сосредоточены на явных атаках, таких как скрытые инструкции и инъекция подсказок. Мы изучаем более сложный и более актуальный с политической точки зрения режим отказа: без скрытого текста, без инъекций подсказок и без изменений методов, экспериментов, рисунков, уравнений, доказательств или численных результатов. Злоумышленник изменяет только контент на уровне презентации, такой как аннотация, формулировка вклада, связанные работы, обсуждение и структура повествования. Мы вводим состязательную переупаковку: замкнутую атаку, которая использует обратную связь от ИИ-рецензента для поиска изменений на уровне презентации при сохранении фиксированными научных данных. На трех популярных ИИ-рецензентах состязательная переупаковка достигает 75,1% успешности атаки и среднего прироста оценки +1,21/10. Этот эффект не объясняется обычной шлифовкой прозы. Мы также показываем, что стратегии, изменяющие способ интерпретации статьи рецензентом, такие как перепозиционирование связанных работ и расширение аналитического обсуждения, значительно превосходят поверхностные правки, такие как локальная полировка, форматирование таблиц и блоки алгоритмов. Наш анализ выявляет два более глубоких структурных режима отказа. Во-первых, ИИ-рецензентов легче впечатлить, чем убедить: выделение сильных сторон надежно повышает воспринимаемую ценность, в то время как попытки устранить слабые места часто дают обратный эффект. Во-вторых, ИИ-рецензенты могут путать видимость устранения ограничения с его фактическим разрешением, позволяя неизменным данным быть переосмысленными как более сильный научный вклад. Эти результаты показывают, что риск развертывания заключается не только в злонамеренных скрытых инструкциях, но и в появлении самой презентации статьи как поверхности для оптимизации. Мы выпускаем свободный от загрязнений постоянно обновляемый бенчмарк и фреймворк для атак для проверки того, остаются ли ИИ-рецензенты привязанными к научному содержанию при редактировании только презентации.
English
As AI-generated reviews move from experimental tools into peer-review infrastructure, most robustness concerns have focused on explicit attacks such as hidden instructions and prompt injection. We study a harder and more policy-relevant failure mode: no hidden text, no prompt injection, and no changes to methods, experiments, figures, equations, proofs, or numerical results. The attacker modifies only presentation-level content, such as the abstract, contribution framing, related work, discussion, and narrative structure. We introduce adversarial repackaging: a closed-loop attack that uses AI-reviewer feedback to search for presentation-level revisions while keeping the scientific evidence fixed. Across three mainstream AI reviewers, adversarial repackaging achieves a 75.1% attack success rate and a mean score gain of +1.21/10. The effect is not explained by ordinary prose polishing. We also reveal that strategies that change how the reviewer interprets the paper, such as related-work repositioning and analytical discussion expansion, substantially outperform surface edits such as local polishing, table formatting, and algorithm boxes. Our analysis reveals two deeper structural failure modes. First, AI reviewers are easier to impress than to convince: highlighting strengths reliably increases perceived merit, while attempts to dissolve weaknesses frequently backfire. Second, AI reviewers can confuse the appearance of addressing a limitation with actually resolving it, allowing unchanged evidence to be reinterpreted as stronger scientific contribution. These results show that the deployment risk is not only malicious hidden instructions, but the emergence of paper presentation itself as an optimization surface. We release a contamination-free rolling benchmark and attack framework for testing whether AI reviewers remain anchored to scientific content under presentation-only edits.