Geen verborgen prompts nodig! Je kunt AI-peerreview manipuleren met alleen presentatie-gerelateerde revisies.

Samenvatting

Naarmate AI-gegenereerde beoordelingen overgaan van experimentele hulpmiddelen naar peer-review-infrastructuur, hebben de meeste zorgen over robuustheid zich gericht op expliciete aanvallen zoals verborgen instructies en promptinjectie. Wij bestuderen een moeilijkere en meer beleidsrelevante faalwijze: geen verborgen tekst, geen promptinjectie en geen wijzigingen in methoden, experimenten, figuren, vergelijkingen, bewijzen of numerieke resultaten. De aanvaller wijzigt alleen presentatie-inhoud, zoals de samenvatting, de framing van de bijdrage, gerelateerd werk, discussie en narratieve structuur. We introduceren adversariële herverpakking: een gesloten-lus aanval die AI-beoordelaarfeedback gebruikt om te zoeken naar presentatie-level herzieningen terwijl het wetenschappelijke bewijs vast blijft. Over drie gangbare AI-beoordelaars heen behaalt adversariële herverpakking een aanvalsuccespercentage van 75,1% en een gemiddelde scoresstijging van +1,21/10. Het effect wordt niet verklaard door gewone tekstpolijsting. We onthullen ook dat strategieën die veranderen hoe de beoordelaar het artikel interpreteert, zoals herpositionering van gerelateerd werk en uitbreiding van analytische discussie, aanzienlijk beter presteren dan oppervlakkige bewerkingen zoals lokale polijsting, tabelopmaak en algoritmekaders. Onze analyse onthult twee diepere structurele faalwijzen. Ten eerste zijn AI-beoordelaars gemakkelijker te imponeren dan te overtuigen: het benadrukken van sterke punten verhoogt consequent de waargenomen verdienste, terwijl pogingen om zwakheden te ontbinden vaak averechts werken. Ten tweede kunnen AI-beoordelaars de schijn van het aanpakken van een beperking verwarren met het daadwerkelijk oplossen ervan, waardoor ongewijzigd bewijs kan worden geherinterpreteerd als een sterkere wetenschappelijke bijdrage. Deze resultaten tonen aan dat het implementatierisico niet alleen bestaat uit kwaadaardige verborgen instructies, maar uit de opkomst van het artikelpresentatie zelf als optimalisatieoppervlak. We publiceren een verontreinigingsvrije rollende benchmark en aanvalsframework om te testen of AI-beoordelaars onder presentatie-only bewerkingen verankerd blijven aan wetenschappelijke inhoud.

English

As AI-generated reviews move from experimental tools into peer-review infrastructure, most robustness concerns have focused on explicit attacks such as hidden instructions and prompt injection. We study a harder and more policy-relevant failure mode: no hidden text, no prompt injection, and no changes to methods, experiments, figures, equations, proofs, or numerical results. The attacker modifies only presentation-level content, such as the abstract, contribution framing, related work, discussion, and narrative structure. We introduce adversarial repackaging: a closed-loop attack that uses AI-reviewer feedback to search for presentation-level revisions while keeping the scientific evidence fixed. Across three mainstream AI reviewers, adversarial repackaging achieves a 75.1% attack success rate and a mean score gain of +1.21/10. The effect is not explained by ordinary prose polishing. We also reveal that strategies that change how the reviewer interprets the paper, such as related-work repositioning and analytical discussion expansion, substantially outperform surface edits such as local polishing, table formatting, and algorithm boxes. Our analysis reveals two deeper structural failure modes. First, AI reviewers are easier to impress than to convince: highlighting strengths reliably increases perceived merit, while attempts to dissolve weaknesses frequently backfire. Second, AI reviewers can confuse the appearance of addressing a limitation with actually resolving it, allowing unchanged evidence to be reinterpreted as stronger scientific contribution. These results show that the deployment risk is not only malicious hidden instructions, but the emergence of paper presentation itself as an optimization surface. We release a contamination-free rolling benchmark and attack framework for testing whether AI reviewers remain anchored to scientific content under presentation-only edits.