숨겨진 프롬프트가 필요 없습니다! 형식적 수정만으로 AI 피어 리뷰를 조작할 수 있습니다.

초록

AI 생성 리뷰가 실험 도구에서 동료 심사 인프라로 전환됨에 따라, 대부분의 견고성 우려는 은닉 명령 및 프롬프트 인젝션과 같은 명시적 공격에 초점을 맞춰왔다. 본 연구는 더 어렵고 정책적으로 중요한 실패 모드를 분석한다: 은닉 텍스트, 프롬프트 인젝션, 그리고 방법론, 실험, 그림, 수식, 증명, 수치 결과에 대한 변경이 전혀 없는 경우이다. 공격자는 초록, 기여도 프레이밍, 관련 연구, 논의, 서사 구조 등 프레젠테이션 수준의 내용만 수정한다. 우리는 적대적 재포장(adversarial repackaging)을 도입한다: 이는 AI 리뷰어의 피드백을 활용하여 과학적 증거는 고정된 상태에서 프레젠테이션 수준의 개정을 탐색하는 폐쇄 루프 공격이다. 세 가지 주류 AI 리뷰어를 대상으로 한 실험에서, 적대적 재포장은 75.1%의 공격 성공률과 평균 +1.21/10의 점수 향상을 달성했다. 이 효과는 일반적인 산문 다듬기(prose polishing)로는 설명되지 않는다. 또한, 리뷰어가 논문을 해석하는 방식을 변경하는 전략(예: 관련 연구 재배치, 분석적 논의 확장)이 표면적 편집(예: 국부적 다듬기, 표 서식, 알고리즘 박스)보다 훨씬 뛰어난 성과를 보인다는 사실을 밝혀냈다. 우리의 분석은 두 가지 더 깊은 구조적 실패 모드를 드러낸다. 첫째, AI 리뷰어는 설득보다 감동시키기가 더 쉽다: 강점을 부각하면 인지된 가치가 확실히 증가하는 반면, 약점을 해소하려는 시도는 종종 역효과를 낳는다. 둘째, AI 리뷰어는 한계를 해결한 것처럼 보이는 것과 실제로 해결하는 것을 혼동할 수 있으며, 이로 인해 변경되지 않은 증거가 더 강력한 과학적 기여로 재해석될 수 있다. 이러한 결과는 배포 위험이 악의적인 은닉 명령뿐만 아니라, 논문 프레젠테이션 자체가 최적화 대상으로 부상하는 데 있음을 보여준다. 우리는 AI 리뷰어가 프레젠테이션만 수정된 상태에서도 과학적 내용에 고정되어 있는지 테스트하기 위한, 오염 없는 순환 벤치마크 및 공격 프레임워크를 공개한다.

English

As AI-generated reviews move from experimental tools into peer-review infrastructure, most robustness concerns have focused on explicit attacks such as hidden instructions and prompt injection. We study a harder and more policy-relevant failure mode: no hidden text, no prompt injection, and no changes to methods, experiments, figures, equations, proofs, or numerical results. The attacker modifies only presentation-level content, such as the abstract, contribution framing, related work, discussion, and narrative structure. We introduce adversarial repackaging: a closed-loop attack that uses AI-reviewer feedback to search for presentation-level revisions while keeping the scientific evidence fixed. Across three mainstream AI reviewers, adversarial repackaging achieves a 75.1% attack success rate and a mean score gain of +1.21/10. The effect is not explained by ordinary prose polishing. We also reveal that strategies that change how the reviewer interprets the paper, such as related-work repositioning and analytical discussion expansion, substantially outperform surface edits such as local polishing, table formatting, and algorithm boxes. Our analysis reveals two deeper structural failure modes. First, AI reviewers are easier to impress than to convince: highlighting strengths reliably increases perceived merit, while attempts to dissolve weaknesses frequently backfire. Second, AI reviewers can confuse the appearance of addressing a limitation with actually resolving it, allowing unchanged evidence to be reinterpreted as stronger scientific contribution. These results show that the deployment risk is not only malicious hidden instructions, but the emergence of paper presentation itself as an optimization surface. We release a contamination-free rolling benchmark and attack framework for testing whether AI reviewers remain anchored to scientific content under presentation-only edits.