ReDesign: エージェント分解による画像からの編集可能なデザイン構造の復元

要旨

ラスタ画像から編集可能なデザインファイルを復元することは、現代のデザインワークフローにおいて一般的かつコストのかかるボトルネックであるが、編集可能性がタイポグラフィ、ベクタージオメトリ、色、グループ化、レイヤー順序といったマルチモーダル属性の復元に依存するため、依然として困難な課題である。本稿では、ReDesignを提案する。これは、モダリティ横断的に専門的なツールを選択・構成して編集可能なレイヤー階層を成長させるエージェント型フレームワークである。不完全なツール出力にもかかわらず、この長い決定プロセスを信頼性高く維持するために、各拡張時にグレースフル検証を導入する。これにより、局所的な受理、枝刈り、再試行のフィードバックを提供し、誤差の蓄積を防ぎ、大規模な再実行を回避する。大規模な編集可能性を評価するため、909個の生のFigmaファイルと14,796件の制御された編集命令から成るFigma編集リプレイベンチマークを導入し、復元された出力に対して編集をリプレイする。このベンチマークおよび標準的な復元評価指標において、ReDesignは高い視覚的忠実度を達成するとともに、レイアウト、色、テキスト編集において最高の編集可能性を示し、レイヤー分解ベースラインや逐次的ツール使用パイプラインを凌駕する。

English

Recovering an editable design file from a raster image is a common and costly bottleneck in modern design workflows, yet remains challenging since editability depends on recovering multi-modal attributes, such as typography, vector geometry, colors, grouping, and layer ordering. We present ReDesign, an agentic framework that grows an editable layer hierarchy by selecting and composing specialized tools across modalities. To keep this long decision process reliable despite imperfect tool outputs, we introduce graceful verification at each expansion, which provides local accept, prune, or retry feedback that prevents error accumulation and avoids large scale reruns. To evaluate editability at scale, we introduce the Figma Edit Replay Benchmark, consisting of 909 raw Figma files and 14,796 controlled edit instructions that replay edits on reconstructed outputs. Across this benchmark and standard reconstruction metrics, ReDesign achieves strong visual fidelity while delivering the highest editability across layout, color, and text edits, outperforming layered decomposition baselines and serial tool use pipelines.