로보틱스에서의 파운데이션 모델: 응용, 도전 과제, 그리고 미래

초록

로보틱스에서 사전 훈련된 파운데이션 모델의 응용 사례를 조사한다. 전통적인 로보틱스의 딥러닝 모델은 특정 작업에 맞춰 소규모 데이터셋으로 훈련되며, 이는 다양한 응용 분야에서의 적응성을 제한한다. 반면, 인터넷 규모의 데이터로 사전 훈련된 파운데이션 모델은 우수한 일반화 능력을 보이며, 경우에 따라 훈련 데이터에 없는 문제에 대한 제로샷 해결책을 찾는 새로운 능력을 보이기도 한다. 파운데이션 모델은 로봇 자율성 스택의 다양한 구성 요소, 즉 인지부터 의사결정 및 제어에 이르기까지 향상시킬 잠재력을 가지고 있다. 예를 들어, 대형 언어 모델은 코드를 생성하거나 상식적 추론을 제공할 수 있으며, 비전-언어 모델은 개방형 어휘 시각 인식을 가능하게 한다. 그러나 로봇 관련 훈련 데이터의 부족, 안전 보장 및 불확실성 정량화, 실시간 실행과 같은 중요한 연구 과제들이 남아 있다. 본 조사에서는 로보틱스 문제를 해결하기 위해 파운데이션 모델을 사용하거나 구축한 최근 논문들을 연구한다. 파운데이션 모델이 인지, 의사결정, 제어 영역에서 로봇 능력을 향상시키는 방식을 탐구한다. 로봇 자율성에서 파운데이션 모델의 채택을 방해하는 과제들을 논의하고, 향후 발전을 위한 기회와 잠재적 경로를 제공한다. 본 논문에 해당하는 GitHub 프로젝트(초기 릴리스. 품질과 관련성을 보장하기 위해 이 작업을 지속적으로 개선하고 업데이트할 예정임)는 여기에서 확인할 수 있다: https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models

English

We survey applications of pretrained foundation models in robotics. Traditional deep learning models in robotics are trained on small datasets tailored for specific tasks, which limits their adaptability across diverse applications. In contrast, foundation models pretrained on internet-scale data appear to have superior generalization capabilities, and in some instances display an emergent ability to find zero-shot solutions to problems that are not present in the training data. Foundation models may hold the potential to enhance various components of the robot autonomy stack, from perception to decision-making and control. For example, large language models can generate code or provide common sense reasoning, while vision-language models enable open-vocabulary visual recognition. However, significant open research challenges remain, particularly around the scarcity of robot-relevant training data, safety guarantees and uncertainty quantification, and real-time execution. In this survey, we study recent papers that have used or built foundation models to solve robotics problems. We explore how foundation models contribute to improving robot capabilities in the domains of perception, decision-making, and control. We discuss the challenges hindering the adoption of foundation models in robot autonomy and provide opportunities and potential pathways for future advancements. The GitHub project corresponding to this paper (Preliminary release. We are committed to further enhancing and updating this work to ensure its quality and relevance) can be found here: https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models

로보틱스에서의 파운데이션 모델: 응용, 도전 과제, 그리고 미래

Foundation Models in Robotics: Applications, Challenges, and the Future

초록

Support