FoldingAgent: 시연 영상으로부터 매개변수적 종이접기 절차 추론

초록

우리는 종이접기 시연 동영상에서 명시적 매개변수 접기 프로그램을 직접 추론하는 에이전트 기반 프레임워크인 FoldingAgent를 제시한다. 이 프레임워크는 에이전트가 기하학적 변환을 시뮬레이션하고, 물리적 타당성을 검증하며, 시각적 콘텐츠를 검색하고 비교하며, 자체 예측을 평가할 수 있게 해주는 일련의 특수 도구를 갖춘 사전 훈련된 비전-언어 모델(VLM)의 추론 능력을 활용한다. 시각적 콘텐츠를 접기 프로그램으로 변환하기 위해, 우리는 종이의 기하학적 구조와 일련의 매개변수 접기 동작으로 구성된 매개변수 공간을 정의한다. 정적 접힘 패턴을 예측하는 모델과 달리, 우리의 에이전트는 순차적으로 작동하며 동작을 재계획하는 능력을 지녀 다단계 접기에 내재된 누적 오류를 효과적으로 완화한다. 본 접근 방식은 주로 비구조화된 시각적 시연을 통해 공유되는 인간의 종이접기 지식과, 전형적으로 접힘 패턴이나 실행 가능한 매개변수 계획과 같은 구조화되고 매개변수화된 표현에 의존하는 계산 방법 사이의 간극을 좁히는 방향으로 한 걸음 나아간다. 우리는 다양한 Pureland 종이접기 동영상과 이에 대한 정답 기하 정보 및 동작 레이블을 포함하는 새롭게 구축된 벤치마크인 PurelandFold에서 본 접근 방식을 평가한다. 실험 결과는 VLM 추론을 특수 도구 모음 및 물리 시뮬레이션과 결합함으로써 비구조화된 시각적 시연을 실행 가능하고 물리적으로 타당한 접기 절차로 성공적으로 변환할 수 있음을 보여준다.

English

We present FoldingAgent, an agentic framework for inferring explicit parametric folding programs directly from origami demonstration videos. Our framework leverages the reasoning power of a pre-trained Vision-Language Model (VLM) equipped with a suite of specialized tools that enable the agent to simulate geometric transitions, verify physical plausibility, retrieve and compare visual content, and evaluate its own predictions. To translate visual content into folding programs, we define a parametric space that consists of the paper's geometry and a set of parametric folding actions. Unlike models that predict static crease patterns, our agent operates sequentially and possesses the ability to re-plan its actions, effectively mitigating the compounding errors inherent in multi-step folding. Our approach takes a step toward closing the gap between human origami knowledge, which is primarily shared through unstructured visual demonstrations, and computational methods, which typically rely on structured, parametric representations such as a crease pattern or an executable parametric plan. We evaluate our approach on PurelandFold, a newly curated benchmark of diverse Pureland origami videos with ground-truth geometry and action labels. Our results demonstrate that by combining VLM reasoning with a set of specialized tools and physical simulation, we can successfully transform unstructured visual demonstrations into executable, physically plausible folding procedures.