인간 이미지 애니메이션을 위한 암시적 선호 정렬

초록

인간 이미지 애니메이션은 상당한 발전을 이루었으나, 손 움직임의 높은 자유도와 운동 복잡성으로 인해 고품질의 손 동작을 생성하는 것은 여전히 지속적인 도전 과제로 남아 있다. 인간 피드백을 통한 강화 학습, 특히 직접 선호 최적화는 잠재적인 해결책을 제공하지만, 엄격한 선호 쌍(pair)의 구축이 필요하다. 그러나 동적인 손 영역에 대한 이러한 선호 쌍을 수집하는 것은 프레임 간 불일치로 인해 비용이 매우 많이 들고 종종 비현실적이다. 본 논문에서는 쌍으로 된 선호 데이터를 필요로 하지 않는 데이터 효율적인 사후 학습 프레임워크인 암시적 선호 정렬(IPA)을 제안한다. IPA는 암시적 보상 최대화에 이론적으로 기반을 두고 있으며, 모델이 스스로 생성한 고품질 샘플의 가능도를 최대화하는 동시에 사전 학습된 사전 확률(prior)로부터의 이탈을 페널티함으로써 모델을 정렬한다. 또한, 손 영역으로 정렬 과정을 명시적으로 유도하는 손 인식 지역 최적화 메커니즘을 도입한다. 실험 결과, 우리의 방법이 손 생성 품질을 향상시키기 위한 효과적인 선호 최적화를 달성하면서, 선호 데이터 구축의 장벽을 크게 낮춤을 보여준다. 코드는 https://github.com/mdswyz/IPA에서 공개된다.

English

Human image animation has witnessed significant advancements, yet generating high-fidelity hand motions remains a persistent challenge due to their high degrees of freedom and motion complexity. While reinforcement learning from human feedback, particularly direct preference optimization, offers a potential solution, it necessitates the construction of strict preference pairs. However, curating such pairs for dynamic hand regions is prohibitively expensive and often impractical due to frame-wise inconsistencies. In this paper, we propose Implicit Preference Alignment (IPA), a data-efficient post-training framework that eliminates the need for paired preference data. Theoretically grounded in implicit reward maximization, IPA aligns the model by maximizing the likelihood of self-generated high-quality samples while penalizing deviations from the pretrained prior. Furthermore, we introduce a Hand-Aware Local Optimization mechanism to explicitly steer the alignment process toward hand regions. Experiments demonstrate that our method achieves effective preference optimization to enhance hand generation quality, while significantly lowering the barrier for constructing preference data. Codes are released at https://github.com/mdswyz/IPA

인간 이미지 애니메이션을 위한 암시적 선호 정렬

Implicit Preference Alignment for Human Image Animation

초록

Support