Обучение складыванию: призовое решение на LeHome Challenge 2026 (1-е место онлайн, 2-е место офлайн)

Аннотация

Я описываю свое решение для LeHome Challenge 2026, соревнования ICRA 2026 по двуручной складке одежды. Система заняла 1-е место из 62 команд в онлайн-этапе (симуляция) и 2-е место в финале с реальным миром. Она улучшает политику видение-язык-действие (VLA) с помощью цикла обучения с подкреплением. Политика сама является своей функцией ценности: одна и та же сеть, которая предсказывает действия, также предсказывает успех, прогресс и несколько релевантных будущих величин, а эти прогнозы используются для оценки преимущества, обнаружения сбоев в реальном времени и выбора кандидатов. В основном работа перекомбинирует существующие идеи RL с инженерными и оптимизационными вкладами, которые можно использовать вместе как единое решение или по отдельности: AWR + RECAP для VLA с потоковым согласованием; асинхронный конвейер распределенного обучения/развертывания через HuggingFace Hub; оптимизация гиперпараметров во время вывода с помощью семплирования Томпсона; рецепт перехода от симуляции к реальности с инструментарием выравнивания камер, тяжелой аугментацией и сбором данных HIL по типу DAgger.

English

I describe my solution to the LeHome Challenge 2026, an ICRA 2026 competition on bimanual garment folding. The system placed 1st of 62 teams in the online (simulation) round and 2nd in the real-world final. It improves a vision-language-action (VLA) policy with a reinforcement-learning loop. The policy is its own value function: the same network that predicts actions also predicts success, progress, and a few task-relevant future quantities, and those predictions drive advantage estimation, live failure detection, and candidate selection. The work mostly recombines existing RL ideas with engineering and optimization contributions that can be used together as one recipe or individually: AWR + RECAP combined for flow-matching VLA; an asynchronous distributed training / rollout pipeline through HuggingFace Hub; inference-time hyperparameters optimization via Thompson sampling; a sim-to-real recipe with camera-alignment tooling, heavy augmentation and DAgger-like HIL data collection.