다양한 상호작용이 가능한 무한의 세계들

초록

본 논문에서는 LingBot-World 2.0(일명 LingBot-World-Infinity)을 소개한다. 이는 LingBot-World의 고급 버전으로, 네 가지 주요 개선 사항을 특징으로 한다. (1) 정교하게 설계된 인과적 사전 학습 패러다임을 통해 일관된 출력 품질을 유지하면서 무제한 상호작용 지평을 달성한다. (2) 기본 모델에서 실시간 변형을 증류함으로써 60fps의 720p 비디오 스트림을 구동할 수 있는 빠른 응답 시간을 보장한다. (3) 이전 버전과 비교하여 이번 업데이트는 공격, 궁술, 마법 시전, 사격 등 더 넓은 범위의 행동과 더 풍부한 텍스트 기반 이벤트를 포함한 고도로 다양한 상호작용 요소를 도입한다. (4) 세계 모델링 분야에서 에이전트 기반 제어(agentic harness)의 통합을 개척한다. 여기서 파일럿 에이전트는 캐릭터 행동을 계획 및 실행하고, 감독(director) 에이전트는 장면이 진행됨에 따라 새로운 환경 요소를 합성하는 역할을 담당한다. 또한, 공유 경험을 촉진하기 위해 여러 플레이어가 이 생생한 세계 시뮬레이터에 동시에 몰입할 수 있는 인터페이스를 개발한다. 주력 14B 모델과 함께 경량 1.3B 모델을 제공하여 단일 GPU에 쉽게 배포할 수 있도록 지원한다.

English

We present LingBot-World 2.0 (also known as LingBot-World-Infinity), an advanced iteration of LingBot-World featuring four distinct upgrades. (1) Our model achieves an unbounded interaction horizon while maintaining consistent output quality, benefiting from a carefully crafted causal pretraining paradigm. (2) Through distilling a real-time variant from the base model, our system guarantees rapid response time, sufficient to drive 720p video streams at 60 fps. (3) Compared to the previous version, this update introduces highly diverse interactive elements, comprising a broader spectrum of actions (e.g., attacking, archery, spell-casting, and shooting) alongside a richer variety of text-driven events. (4) We pioneer the integration of an agentic harness within the domain of world modeling, wherein a pilot agent is tasked with planning and executing character behaviors, while a director agent is responsible for synthesizing novel environmental elements as the scene progresses. Additionally, to facilitate a shared experience, we develop an interface that permits multiple players to simultaneously immerse themselves in this vivid world simulator. We pair our primary 14B model with a lightweight 1.3B counterpart, which supports effortless deployment on a single GPU.