Apprendre à plier : solution primée au LeHome Challenge 2026 (1ère place en ligne, 2ème hors ligne)

Résumé

Je décris ma solution au LeHome Challenge 2026, une compétition de l'ICRA 2026 sur le pliage de vêtements bimanuel. Le système s'est classé 1er sur 62 équipes lors de la phase en ligne (simulation) et 2e lors de la finale en conditions réelles. Il améliore une politique vision-langage-action (VLA) avec une boucle d'apprentissage par renforcement. La politique constitue sa propre fonction de valeur : le même réseau qui prédit les actions prédit également le succès, la progression et quelques quantités futures pertinentes pour la tâche, et ces prédictions servent à l'estimation de l'avantage, à la détection en direct des échecs et à la sélection des candidats. Ce travail combine principalement des idées existantes de l'apprentissage par renforcement avec des contributions d'ingénierie et d'optimisation qui peuvent être utilisées ensemble comme une recette unique ou individuellement : AWR + RECAP combinés pour le VLA par appariement de flux ; un pipeline de formation/déploiement distribué asynchrone via HuggingFace Hub ; l'optimisation des hyperparamètres au moment de l'inférence via l'échantillonnage de Thompson ; une recette sim-vers-réel avec des outils d'alignement de caméra, une augmentation lourde et une collecte de données HIL de type DAgger.

English

I describe my solution to the LeHome Challenge 2026, an ICRA 2026 competition on bimanual garment folding. The system placed 1st of 62 teams in the online (simulation) round and 2nd in the real-world final. It improves a vision-language-action (VLA) policy with a reinforcement-learning loop. The policy is its own value function: the same network that predicts actions also predicts success, progress, and a few task-relevant future quantities, and those predictions drive advantage estimation, live failure detection, and candidate selection. The work mostly recombines existing RL ideas with engineering and optimization contributions that can be used together as one recipe or individually: AWR + RECAP combined for flow-matching VLA; an asynchronous distributed training / rollout pipeline through HuggingFace Hub; inference-time hyperparameters optimization via Thompson sampling; a sim-to-real recipe with camera-alignment tooling, heavy augmentation and DAgger-like HIL data collection.