PaperBanana-Interact：マルチターン人間フィードバックによる科学図の改良

要旨

近年、論文内容からの科学的図表の自動生成を目指す取り組みが進められている（Lin et al., 2026; Zhu et al., 2026a）。しかし、単一ターンで著者の視覚的・伝達的な嗜好を完全に満たすことは難しい。我々の予備的ユーザ調査（N=14）では、全参加者が初期ドラフトを確認した後にさらなる修正を要求し、その86%が改良後の図をより満足できるものと評価した。明確な需要があるにもかかわらず、マルチターンのワークフローは依然としてほとんど未検討である。このギャップを埋めるため、我々はマルチターン図生成のためのベンチマークMTPaperBananaBenchを提案する。これは292枚の画像を含み、それらに3,518件のユーザ要件がアノテーションされている。高コストな人間による調査を削減し、スケーラブルなベンチマーキングを可能にするために、各ターンで満たされていない要件を特定し、そのうちk件を自然言語フィードバックに変換するユーザシミュレータを構築する。要件充足と図の全体的品質の両方を評価した結果、ベースラインのマルチターンシステムに共通する2つの主要な失敗モードが明らかになる：（1）ターンが進むにつれて図の品質が徐々に低下する品質ドリフト、（2）以前に実装された特徴がその後のターンで失われる忘却である。これらの問題に対処するため、我々は内部の批評・修正ループを介して図を改良するマルチエージェントシステムPaperBanana-Interactを導入する。PaperBanana-Interactは、ターンを通じて図の品質を劣化させるのではなく一貫して向上させ、品質スコアでベースラインを11.9〜18.6ポイント上回り、忘却を3.7〜6.2ポイント低減する。

English

Recent efforts have aimed to automate scientific diagram generation from paper content (Lin et al., 2026; Zhu et al., 2026a). However, fully satisfying an author's visual and communicative preferences in a single turn is challenging: in our formative user study (N = 14), all participants requested further revisions after viewing an initial draft, and 86% of them rated the refined diagrams as more satisfactory. Despite the clear demand, the multi-turn workflow remains largely underexplored. To bridge this gap, we present MTPaperBananaBench, a benchmark for multi-turn diagram generation containing 292 images annotated with 3,518 user requirements. To reduce expensive human studies and enable scalable benchmarking, we construct a user simulator that, at each turn, identifies unsatisfied requirements and converts k of them into natural language feedback. Evaluating both requirement satisfaction and overall diagram quality reveals two key failure modes shared across baseline multiturn systems: (1) quality drift, where diagram quality progressively declines over turns, and (2) forgetting, where previously implemented features are lost in subsequent turns. To address these issues, we introduce PaperBanana-Interact, a multi-agent system that refines diagrams via an internal critique-and-refine loop. PaperBanana-Interact consistently improves rather than degrades diagram quality across turns, outperforming baselines by 11.9-18.6 points in quality score and reducing forgetting by 3.7-6.2 points.