FoldingAgent：デモンストレーション動画からのパラメトリック折り紙手順の推論

要旨

本稿では、折り紙のデモンストレーションビデオから明示的なパラメトリックな折りプログラムを直接推論するエージェント型フレームワークFoldingAgentを提案する。本フレームワークは、エージェントが幾何学的遷移のシミュレーション、物理的妥当性の検証、視覚コンテンツの検索と比較、そして自身の予測の評価を行うことを可能にする一連の専用ツールを備えた事前学習済み視覚言語モデル（VLM）の推論能力を活用する。視覚コンテンツを折りプログラムに変換するために、我々は、紙の形状と一連のパラメトリックな折り動作から構成されるパラメトリック空間を定義する。静的な折り線パターンを予測するモデルとは異なり、本エージェントは逐次的に動作し、行動を再計画する能力を有するため、多段階の折り動作に内在する誤差の蓄積を効果的に軽減する。本手法は、主に非構造化された視覚的デモンストレーションを通じて共有される人間の折り紙知識と、折り線パターンや実行可能なパラメトリックプランなどの構造化されたパラメトリック表現に通常依存する計算手法との間のギャップを埋める一歩となる。我々は、正解の幾何情報と動作ラベルを備えた多様なピュアランド折り紙ビデオを含む新規ベンチマークPurelandFold上で本手法を評価する。評価結果は、VLMの推論と専用ツール群および物理シミュレーションを組み合わせることで、非構造化された視覚的デモンストレーションを、実行可能で物理的に妥当な折り手順へと変換できることを示している。

English

We present FoldingAgent, an agentic framework for inferring explicit parametric folding programs directly from origami demonstration videos. Our framework leverages the reasoning power of a pre-trained Vision-Language Model (VLM) equipped with a suite of specialized tools that enable the agent to simulate geometric transitions, verify physical plausibility, retrieve and compare visual content, and evaluate its own predictions. To translate visual content into folding programs, we define a parametric space that consists of the paper's geometry and a set of parametric folding actions. Unlike models that predict static crease patterns, our agent operates sequentially and possesses the ability to re-plan its actions, effectively mitigating the compounding errors inherent in multi-step folding. Our approach takes a step toward closing the gap between human origami knowledge, which is primarily shared through unstructured visual demonstrations, and computational methods, which typically rely on structured, parametric representations such as a crease pattern or an executable parametric plan. We evaluate our approach on PurelandFold, a newly curated benchmark of diverse Pureland origami videos with ground-truth geometry and action labels. Our results demonstrate that by combining VLM reasoning with a set of specialized tools and physical simulation, we can successfully transform unstructured visual demonstrations into executable, physically plausible folding procedures.