제미니 로보틱스: AI를 물리적 세계로 이끌다

Gemini Robotics: Bringing AI into the Physical World

March 25, 2025

저자: Gemini Robotics Team, Saminda Abeyruwan, Joshua Ainslie, Jean-Baptiste Alayrac, Montserrat Gonzalez Arenas, Travis Armstrong, Ashwin Balakrishna, Robert Baruch, Maria Bauza, Michiel Blokzijl, Steven Bohez, Konstantinos Bousmalis, Anthony Brohan, Thomas Buschmann, Arunkumar Byravan, Serkan Cabi, Ken Caluwaerts, Federico Casarini, Oscar Chang, Jose Enrique Chen, Xi Chen, Hao-Tien Lewis Chiang, Krzysztof Choromanski, David D'Ambrosio, Sudeep Dasari, Todor Davchev, Coline Devin, Norman Di Palo, Tianli Ding, Adil Dostmohamed, Danny Driess, Yilun Du, Debidatta Dwibedi, Michael Elabd, Claudio Fantacci, Cody Fong, Erik Frey, Chuyuan Fu, Marissa Giustina, Keerthana Gopalakrishnan, Laura Graesser, Leonard Hasenclever, Nicolas Heess, Brandon Hernaez, Alexander Herzog, R. Alex Hofer, Jan Humplik, Atil Iscen, Mithun George Jacob, Deepali Jain, Ryan Julian, Dmitry Kalashnikov, M. Emre Karagozler, Stefani Karp, Chase Kew, Jerad Kirkland, Sean Kirmani, Yuheng Kuang, Thomas Lampe, Antoine Laurens, Isabel Leal, Alex X. Lee, Tsang-Wei Edward Lee, Jacky Liang, Yixin Lin, Sharath Maddineni, Anirudha Majumdar, Assaf Hurwitz Michaely, Robert Moreno, Michael Neunert, Francesco Nori, Carolina Parada, Emilio Parisotto, Peter Pastor, Acorn Pooley, Kanishka Rao, Krista Reymann, Dorsa Sadigh, Stefano Saliceti, Pannag Sanketi, Pierre Sermanet, Dhruv Shah, Mohit Sharma, Kathryn Shea, Charles Shu, Vikas Sindhwani, Sumeet Singh, Radu Soricut, Jost Tobias Springenberg, Rachel Sterneck, Razvan Surdulescu, Jie Tan, Jonathan Tompson, Vincent Vanhoucke, Jake Varley, Grace Vesom, Giulia Vezzani, Oriol Vinyals, Ayzaan Wahid, Stefan Welker, Paul Wohlhart, Fei Xia, Ted Xiao, Annie Xie, Jinyu Xie, Peng Xu, Sichun Xu, Ying Xu, Zhuo Xu, Yuxiang Yang, Rui Yao, Sergey Yaroshenko, Wenhao Yu, Wentao Yuan, Jingwei Zhang, Tingnan Zhang, Allan Zhou, Yuxiang Zhou

cs.AI

초록

최근 대규모 멀티모달 모델의 발전으로 디지털 영역에서 놀라운 범용 능력이 등장했지만, 이를 로봇과 같은 물리적 에이전트로 전환하는 것은 여전히 큰 과제로 남아 있습니다. 본 보고서는 로봇 공학을 위해 특별히 설계되고 Gemini 2.0을 기반으로 구축된 새로운 AI 모델 패밀리를 소개합니다. 우리는 로봇을 직접 제어할 수 있는 고급 Vision-Language-Action (VLA) 범용 모델인 Gemini Robotics를 제시합니다. Gemini Robotics는 다양한 복잡한 조작 작업을 원활하고 반응적으로 수행하며, 객체 유형 및 위치의 변화에 강건하고, 보지 못한 환경을 처리하며, 다양한 개방형 어휘 명령을 따를 수 있습니다. 추가 미세 조정을 통해 Gemini Robotics는 장기적이고 매우 정교한 작업 해결, 100개의 시연만으로 새로운 단기 작업 학습, 완전히 새로운 로봇 구현체에 적응하는 등의 새로운 능력으로 특화될 수 있음을 보여줍니다. 이는 Gemini Robotics가 본 작업에서 소개하는 두 번째 모델인 Gemini Robotics-ER 모델을 기반으로 구축되었기 때문에 가능합니다. Gemini Robotics-ER(Embodied Reasoning)는 Gemini의 멀티모달 추론 능력을 물리적 세계로 확장하여 공간적 및 시간적 이해를 강화합니다. 이를 통해 객체 감지, 포인팅, 궤적 및 그립 예측, 다중 뷰 대응 및 3D 경계 상자 예측과 같은 로봇 공학 관련 능력을 가능하게 합니다. 우리는 이러한 새로운 조합이 다양한 로봇 응용 프로그램을 지원할 수 있는 방법을 보여줍니다. 또한 이 새로운 종류의 로봇 기반 모델과 관련된 중요한 안전 고려 사항을 논의하고 해결합니다. Gemini Robotics 패밀리는 물리적 세계에서 AI의 잠재력을 실현하는 범용 로봇 개발을 위한 중요한 단계를 나타냅니다.

English

Recent advancements in large multimodal models have led to the emergence of remarkable generalist capabilities in digital domains, yet their translation to physical agents such as robots remains a significant challenge. This report introduces a new family of AI models purposefully designed for robotics and built upon the foundation of Gemini 2.0. We present Gemini Robotics, an advanced Vision-Language-Action (VLA) generalist model capable of directly controlling robots. Gemini Robotics executes smooth and reactive movements to tackle a wide range of complex manipulation tasks while also being robust to variations in object types and positions, handling unseen environments as well as following diverse, open vocabulary instructions. We show that with additional fine-tuning, Gemini Robotics can be specialized to new capabilities including solving long-horizon, highly dexterous tasks, learning new short-horizon tasks from as few as 100 demonstrations and adapting to completely novel robot embodiments. This is made possible because Gemini Robotics builds on top of the Gemini Robotics-ER model, the second model we introduce in this work. Gemini Robotics-ER (Embodied Reasoning) extends Gemini's multimodal reasoning capabilities into the physical world, with enhanced spatial and temporal understanding. This enables capabilities relevant to robotics including object detection, pointing, trajectory and grasp prediction, as well as multi-view correspondence and 3D bounding box predictions. We show how this novel combination can support a variety of robotics applications. We also discuss and address important safety considerations related to this new class of robotics foundation models. The Gemini Robotics family marks a substantial step towards developing general-purpose robots that realizes AI's potential in the physical world.