PICABench：物理的に現実的な画像編集までどれほど近づいているか？

PICABench: How Far Are We from Physically Realistic Image Editing?

October 20, 2025

著者: Yuandong Pu, Le Zhuo, Songhao Han, Jinbo Xing, Kaiwen Zhu, Shuo Cao, Bin Fu, Si Liu, Hongsheng Li, Yu Qiao, Wenlong Zhang, Xi Chen, Yihao Liu

cs.AI

要旨

画像編集は近年、著しい進歩を遂げている。現代の編集モデルは、複雑な指示に従って元のコンテンツを操作することが可能である。しかし、編集指示を完了することに加えて、それに伴う物理的効果が生成のリアリズムにおいて重要な鍵を握る。例えば、物体を削除する場合、その影や反射、周囲の物体との相互作用も同時に除去されるべきである。残念ながら、既存のモデルやベンチマークは主に指示の完了に焦点を当てており、これらの物理的効果を見落としている。では、現時点で物理的にリアルな画像編集にはどれほど近づいているのだろうか？この問いに答えるため、我々はPICABenchを導入し、最も一般的な編集操作（追加、削除、属性変更など）に対して、光学、力学、状態遷移にわたる8つのサブ次元にわたって物理的リアリズムを体系的に評価する。さらに、VLM-as-a-judgeを用いた信頼性の高い評価プロトコルであるPICAEvalを提案し、ケースごとの領域レベルでの人間の注釈と質問を活用する。ベンチマークを超えて、ビデオから物理学を学習し、トレーニングデータセットPICA-100Kを構築することで、効果的な解決策を探る。主流のモデルのほとんどを評価した結果、物理的リアリズムは依然として大きな探求の余地がある難しい問題であることが観察された。我々のベンチマークと提案された解決策が、単純なコンテンツ編集から物理的に一貫したリアリズムに向けた将来の研究の基盤となることを期待する。

English

Image editing has achieved remarkable progress recently. Modern editing models could already follow complex instructions to manipulate the original content. However, beyond completing the editing instructions, the accompanying physical effects are the key to the generation realism. For example, removing an object should also remove its shadow, reflections, and interactions with nearby objects. Unfortunately, existing models and benchmarks mainly focus on instruction completion but overlook these physical effects. So, at this moment, how far are we from physically realistic image editing? To answer this, we introduce PICABench, which systematically evaluates physical realism across eight sub-dimension (spanning optics, mechanics, and state transitions) for most of the common editing operations (add, remove, attribute change, etc). We further propose the PICAEval, a reliable evaluation protocol that uses VLM-as-a-judge with per-case, region-level human annotations and questions. Beyond benchmarking, we also explore effective solutions by learning physics from videos and construct a training dataset PICA-100K. After evaluating most of the mainstream models, we observe that physical realism remains a challenging problem with large rooms to explore. We hope that our benchmark and proposed solutions can serve as a foundation for future work moving from naive content editing toward physically consistent realism.