Pas besoin d'invites cachées ! On peut tromper l'évaluation par les pairs par IA avec des révisions de pure forme.

Résumé

Alors que les évaluations générées par l’IA passent d’outils expérimentaux à une infrastructure d’examen par les pairs, la plupart des préoccupations concernant la robustesse se sont concentrées sur des attaques explicites telles que les instructions cachées et l’injection d’invites. Nous étudions un mode de défaillance plus difficile et plus pertinent sur le plan politique : aucun texte caché, aucune injection d’invite, et aucune modification des méthodes, expériences, figures, équations, preuves ou résultats numériques. L’attaquant ne modifie que le contenu formel, tel que le résumé, le cadrage des contributions, les travaux connexes, la discussion et la structure narrative. Nous introduisons le *reconditionnement adversarial* : une attaque en boucle fermée qui utilise les retours de l’évaluateur IA pour rechercher des révisions au niveau formel tout en maintenant les preuves scientifiques inchangées. Sur trois évaluateurs IA courants, le reconditionnement adversarial atteint un taux de succès de 75,1 % et un gain de score moyen de +1,21/10. Cet effet ne s’explique pas par un simple polissage de la prose. Nous révélons également que les stratégies qui modifient la façon dont l’évaluateur interprète l’article—comme le repositionnement des travaux connexes et l’expansion de la discussion analytique—surpassent largement les modifications superficielles telles que le polissage local, la mise en forme des tableaux et les encadrés d’algorithmes. Notre analyse met en évidence deux modes de défaillance structurels plus profonds. Premièrement, les évaluateurs IA sont plus faciles à impressionner qu’à convaincre : mettre en avant les forces augmente de manière fiable le mérite perçu, tandis que les tentatives de dissiper les faiblesses se retournent fréquemment contre elles. Deuxièmement, les évaluateurs IA peuvent confondre l’apparence d’une réponse à une limitation avec sa résolution effective, permettant ainsi à des preuves inchangées d’être réinterprétées comme une contribution scientifique plus forte. Ces résultats montrent que le risque lié au déploiement ne réside pas seulement dans les instructions cachées malveillantes, mais aussi dans l’émergence de la présentation même de l’article comme une surface d’optimisation. Nous publions un benchmark évolutif sans contamination ainsi qu’un cadre d’attaque pour tester si les évaluateurs IA restent ancrés dans le contenu scientifique sous l’effet de modifications formelles uniquement.

English

As AI-generated reviews move from experimental tools into peer-review infrastructure, most robustness concerns have focused on explicit attacks such as hidden instructions and prompt injection. We study a harder and more policy-relevant failure mode: no hidden text, no prompt injection, and no changes to methods, experiments, figures, equations, proofs, or numerical results. The attacker modifies only presentation-level content, such as the abstract, contribution framing, related work, discussion, and narrative structure. We introduce adversarial repackaging: a closed-loop attack that uses AI-reviewer feedback to search for presentation-level revisions while keeping the scientific evidence fixed. Across three mainstream AI reviewers, adversarial repackaging achieves a 75.1% attack success rate and a mean score gain of +1.21/10. The effect is not explained by ordinary prose polishing. We also reveal that strategies that change how the reviewer interprets the paper, such as related-work repositioning and analytical discussion expansion, substantially outperform surface edits such as local polishing, table formatting, and algorithm boxes. Our analysis reveals two deeper structural failure modes. First, AI reviewers are easier to impress than to convince: highlighting strengths reliably increases perceived merit, while attempts to dissolve weaknesses frequently backfire. Second, AI reviewers can confuse the appearance of addressing a limitation with actually resolving it, allowing unchanged evidence to be reinterpreted as stronger scientific contribution. These results show that the deployment risk is not only malicious hidden instructions, but the emergence of paper presentation itself as an optimization surface. We release a contamination-free rolling benchmark and attack framework for testing whether AI reviewers remain anchored to scientific content under presentation-only edits.