일간 논문

최근 비디오 이해 분야의 발전은 움직임, 장편 비디오 및 실시간 스트리밍 상호작용을 포괄하며, 이 분야를 실제 응용으로 이끌고 있습니다. 이러한 진전에도 불구하고, 현재의 오픈소스 모델은 여러 측면에서 제한적입니다. 이들은 종종 다양한 비디오 유형에 걸쳐 일반화하는 데 어려움을 겪어 특정 도메인에서만 효과적입니다. 높은 계산 요구 사항은 효율성과 확장성을 더욱 제한합니다. 게다가 대부분의 모델은 부분적으로만 공개되어 있으며, 학습 코드, 전략 또는 데이터셋과 같은 핵심 구성 요소가 제공되지 않아 재현성을 저해하고 커뮤니티 주도 개발을 늦춥니다. 이러한 문제를 해결하기 위해, 우리는 완전히 공개되고 효율적이며 일반적인 비디오 중심 MLLM인 VideoChat3를 소개합니다. VideoChat3는 두 가지 보완적인 설계를 통해 비디오 이해를 발전시킵니다. 효율성 측면에서는 팽창형 3D 비전 트랜스포머(I3D-ViT)와 적응형 프레임 해상도를 위한 스트리밍 비디오 인식을 도입하여 효율적인 시공간 표현을 가능하게 하고 학습 및 추론 중 비디오 입력 처리 비용을 절감합니다. 효과성 측면에서는 확장 가능한 비디오 데이터 합성 파이프라인을 개발하여 세 가지 다양하고 고품질의 학습 데이터셋(VideoChat3-Academic2M, VideoChat3-LV116K, VideoChat3-OL617K)을 선별합니다. 이 데이터셋은 일반, 장편, 스트리밍 비디오 시나리오를 포괄하여 모델의 도메인 간 일반화 능력을 향상시킵니다. 이러한 설계를 통합함으로써, VideoChat3는 광범위한 일반화와 계산 효율성 사이의 드문 균형을 달성합니다. 일반, 장편, 스트리밍 벤치마크에 걸친 실험 결과, VideoChat3는 4B 파라미터와 더 높은 효율성으로 동일하거나 더 많은 파라미터를 가진 기존 오픈소스 모델을 능가하는 것으로 나타났습니다.

대규모 언어 모델은 점차 다중 대화, 도구 사용 및 환경 피드백을 포함하는 장기적 과제를 위한 상호작용형 에이전트로 학습되고 있다. 결과 기반 강화 학습(Outcome-based Reinforcement Learning, RL)은 실용적인 최적화 패러다임을 제공하지만, 희소한 궤적 수준의 보상은 중간 결정에 대한 제한적인 지침만을 제공하여 에피소드 수준의 결과와 토큰 수준의 정책 학습 사이에 감독 간극이 발생한다. 본 연구에서는 SEED(Self-Evolving On-Policy Distillation)를 제안한다. 이는 완료된 온-폴리시 궤적을 학습 시점의 회고 스킬로 변환하고, 그 행동 효과를 정책 모델에 다시 증류하는 자기 진화형 프레임워크이다. SEED는 먼저 정책을 미세 조정하여 완료된 궤적을 분석하고, 재사용 가능한 워크플로우, 결정적 관찰 또는 실패 회피 규칙을 포착하는 자연어 스킬을 생성한다. RL 과정에서 현재 정책은 궤적을 수집함과 동시에 이들로부터 회고 스킬을 추출하는 분석기 역할을 수행한다. 따라서 정책 업데이트는 이후의 의사 결정과 스킬 분석을 함께 개선하여, 회고 감독이 정책과 함께 진화할 수 있게 한다. 그런 다음 SEED는 일반 맥락과 스킬 강화 맥락에서 샘플링된 행동을 재점수화하여, 스킬에 의한 확률 변화를 조밀한 토큰 수준의 온-폴리시 증류 신호로 변환한다. 이 신호는 결과 기반 RL과 함께 최적화되어, 보조 감독이 현재 궤적 분포와 정렬되도록 유지한다. 텍스트 기반 및 시각 기반 에이전트 과제에 대한 광범위한 실험은 SEED가 성능과 샘플 효율성을 일관되게 향상시키며, 보지 못한 시나리오에 대한 강건한 일반화를 보여준다. 코드는 https://github.com/jinyangwu/SEED에서 확인할 수 있다.

도구 통합 대규모 언어 모델의 최근 발전으로 웹 검색은 정보 탐색 에이전트의 핵심 기능이 되었다. 그러나 상호작용 이력이 길어짐에 따라 에이전트는 작업 진행 상황을 추적하는 데 점점 어려움을 겪는다. 검색 시도가 유용한 증거를 얻지 못할 경우, 현재의 단일 및 다중 에이전트 시스템은 반복적인 루프에 빠져 검색 예산을 낭비하고 궁극적으로 최종 출력의 품질과 완전성을 저하시킬 수 있다. 본 논문에서는 취약하고 암시적인 검색 진행 상황을 명시적이고 지속적이며 공유되는 상태로 전환하는 시스템 수준의 다중 에이전트 프레임워크인 SearchOS를 제안한다. 먼저, 개방형 도메인 정보 탐색을 근거 인용이 포함된 관계형 스키마 완성으로 정식화한다. 여기서 에이전트는 개체를 발견하고, 연결된 테이블 간에 속성을 채우며, 각 값을 출처 증거에 고정한다. 다음으로 진화하는 상태를 프론티어 태스크, 증거 그래프, 커버리지 맵, 실패 메모리로 외부화하는 검색 지향 컨텍스트 관리(SOCM)를 설계한다. SOCM을 기반으로 SearchOS는 하위 에이전트의 실행을 중첩시키고 해결되지 않은 커버리지 갭을 대상으로 하는 태스크로 비어 있는 슬롯을 지속적으로 채워 활용률과 처리량을 향상시키는 파이프라인 병렬 스케줄링 메커니즘을 적용한다. 검색 에이전트의 실행을 스케줄링하고 제어하기 위해 SearchOS는 모델과 도구 간 상호작용을 가로채 근거 증거를 기록하고 지연이나 예산 소진에 대응하는 검색 도구 미들웨어 하네스를 도입한다. 또한 전략 및 접근 스킬로 구성된 재사용 가능한 계층적 스킬 시스템을 제공하여 에이전트의 검색 과정을 보강하고 실행 간 실패한 검색 패턴이 반복되는 것을 방지한다. WideSearch 및 GISA에서 SearchOS는 평가된 단일 및 다중 에이전트 기준 모델 중 모든 지표에서 선두를 차지하며, 강건한 정보 탐색 협업을 위한 길을 열었다.

추론 컨텍스트 길이와 강화학습(RL) 후속 학습(Post-training) 사이의 격차가 점점 벌어지고 있다. 즉, 추론 시스템은 백만 토큰 컨텍스트에 근접하는 반면, 후속 학습 작업은 256K 토큰 이하에 머물러 배포 시 길이 일반화(Length Generalization)에 의존하는 경우가 많다. 이러한 격차는 관찰 결과, 도구 출력, 문서 및 이전 결정이 긴 궤적에 걸쳐 축적되는 AI 에이전트에게 특히 중요하다. LongStraw는 고정 GPU 예산 하에서 백만 토큰 규모의 RL 후속 학습을 위한 아키텍처 인식 실행 스택(Architecture-aware Execution Stack)으로, 그룹 상대 정책 최적화(GRPO)를 통해 구현된다. 이는 autograd 없이 공유 프롬프트를 평가하고, 이후 토큰에 필요한 모델별 상태만 유지하며, 단시간 응답 분기(Short Response Branch)를 한 번에 하나씩 재생(Replay)하여, 추가 재생 시간을 대가로 활성 학습 그래프의 크기를 줄인다. 우리는 이를 하이브리드 순환 및 전체 주의(Hybrid Recurrent and Full-attention) 기반의 Qwen3.6-27B와 압축 주의 혼합 전문가(Compressed-attention Mixture-of-experts) 기반의 GLM-5.2에 구현했다. 8개의 H20 GPU에서 LongStraw는 그룹 크기 2와 8에 대해 210만 위치에서 그룹화된 Qwen의 스코어링 및 응답 역전파(Backward)를 완료한다. 그룹 크기를 늘려도 최대 할당 메모리는 0.21GB만 증가하며, 별도의 스트레스 테스트에서는 446만 위치에 도달한다. 32개의 H20 GPU에서는 GLM-5.2의 전체 78개 레이어에 걸쳐 210만 토큰 프롬프트에 대한 종단 간 LongStraw 실행 경로를 검증한다. 이러한 실험은 캡처된 프롬프트 상태가 분리(Detach)되고 일부 분산 포워드 및 그래디언트 구성 경로가 미완성 상태로 남아 있기 때문에, 완전한 훈련 정확성보다는 실행 용량을 입증하는 데 초점을 맞춘다.

세계-행동 모델(World-action models, WAMs)은 구현된 제어를 위한 유망한 기반으로 부상하고 있다. 이 모델은 단순히 행동만 예측하는 것이 아니라, 행동 생성과 미래 세계 예측을 결합하는 표현을 학습한다. 이러한 결합은 종종 강건성, 해석 가능성, 안전성의 원천으로 간주되는데, 이는 원칙적으로 로봇의 행동이 상상된 미래와 대조하여 검증될 수 있기 때문이다. 본 논문에서는 이 가정이 취약함을 보여준다. 우리는 BadWAM을 제안하는데, 이는 세계-행동 표류 공격(World-Action Drift Attacks)을 모델링하고 평가하기 위한 통합 프레임워크이다. 이는 WAM 특유의 새로운 적대적 공격 유형으로, 작은 시각적 교란을 사용하여 WAM이 상상하는 것과 실행하는 것 사이의 정렬을 깨뜨린다. BadWAM은 이 공격 표면을 공격 강도와 은밀성이라는 두 가지 자연스러운 기준을 따라 특성화한다. 공격자가 파괴를 우선시할 때, BadWAM은 행동 전용 적대적 공격(action-only adversarial attack)을 구체화하며, 이는 모델을 과제 실패 행동으로 직접 몰아간다. 공격자가 추가로 은밀성을 우선시할 때, BadWAM은 상상 보존 적대적 공격(imagination-preserving adversarial attack)을 구체화하며, 이는 모델의 예측된 미래를 깨끗한 상상에 가깝게 유지하면서 해로운 행동 변화를 유도하려 한다. 이 두 공격은 함께 WAM 특유의 실패 스펙트럼을 포착한다. 즉, 명백한 행동 하이재킹부터 모델이 그럴듯한 미래를 상상하는 것처럼 보이지만 비동기화된 행동을 실행하는 더 은밀한 경우까지를 포함한다. 우리는 다양한 WAM 변종에 걸쳐 BadWAM을 평가한다. 결과는 우리의 공격이 폐쇄 루프 실행 하에서 과제 성공률을 상당히 감소시킴을 보여준다. 예를 들어, 행동 전용 공격은 모델 성능을 96.5% 성공률에서 43.1%로 감소시킨다. 상상 보존 공격의 결과는 WAM 특유의 취약성을 추가로 드러낸다. 즉, 적당한 미래 보존 정규화는 미래 상상 표류를 줄이면서도 강력한 공격 성능을 유지할 수 있다.

비디오 생성은 점점 더 키프레임 기반 워크플로에 의존하고 있으며, 여기서 창작자는 일련의 참조 이미지를 지정하여 생성을 안내한다. 최근 모델들이 다중 키프레임 조건 설정을 지원하지만, 전체 비디오 품질을 유지하면서 지정된 키프레임을 충실히 재현할 수 있는지는 여전히 불분명하다. 본 논문에서는 키프레임 조건 비디오 생성을 평가하기 위한 최초의 포괄적 벤치마크인 KeyFrame-Compass를 제시한다. 이 벤치마크는 세 가지 응용 도메인, 두 가지 비디오 구조, 두 가지 프롬프트 세분성, 두 가지 조건 설정 형식, 네 가지 키프레임 밀도에 걸쳐 엄선된 386개의 샘플을 포함하여 다양한 생성 설정에서 제어된 분석을 가능하게 한다. 또한 키프레임 실행과 전체 비디오 품질을 동시에 측정하는 자동 평가 프레임워크를 도입한다. 구체적으로 키프레임 실행을 존재 여부, 충실도, 시간적 순서, 위치화, 지속성, 고유성을 포괄하는 여섯 가지 상호 보완적 지표로 분해하고, 특화된 인식 모델로 강화된 증거 기반 MLLM 판단을 통해 전체 비디오 품질을 평가한다. 9개의 대표적인 비디오 생성 시스템에 대한 실험은 몇 가지 근본적인 한계를 드러낸다. 현재 모델들은 충실한 키프레임 실행과 자연스러운 비디오 합성 사이에서 명확한 트레이드오프를 보인다. 키프레임 제약이 밀집할수록 성능이 더욱 저하되며, 대부분의 오픈소스 모델은 스토리보드 그리드 입력을 시간적으로 정렬된 키프레임 시퀀스로 해석하는 데 실패한다.

다중 참조-오디오-비디오(MR2AV) 생성은 여러 참조와 텍스트 명령어에 기반하여 일관된 오디오-비디오 콘텐츠를 생성하는 것을 목표로 한다. 기존 벤치마크는 주로 텍스트 기반 생성, 단일 참조 객체 보존, 또는 분리된 오디오-비디오 정렬에 초점을 맞추어, 새롭게 부상하는 MR2AV 설정은 대부분 탐구되지 않은 상태로 남아 있다. 이러한 설정과 비교할 때, MR2AV는 동기화된 시각 및 오디오 콘텐츠를 생성하면서 여러 참조에 대해 공동으로 추론하는 능력을 모델에 요구한다. 모델은 각 참조를 충실히 보존할 뿐만 아니라 여러 참조 개체를 올바르게 결합하고 구성하여 일관된 오디오-비디오 이벤트로 만들어야 한다. 이러한 격차를 해소하기 위해, 우리는 MR2AV 생성을 위한 통합 벤치마크인 MultiRef-Compass를 소개한다. 이 벤치마크는 확장 가능하고 제어 가능한 자산 구성 파이프라인을 통해 정성적으로 선별된 350개의 샘플로 구성되며, 다중 시점 객체 보존, 다중 개체 결합, 그리고 인간-객체-장면 구성을 포함한다. 해석 가능한 평가를 제공하기 위해 MultiRef-Compass는 14개의 하위 지표를 사용하여 기본 품질(Basic Quality), 참조 일관성(Reference Consistency), 오디오-비디오 일관성(Audio-Visual Consistency), 명령어 준수(Instruction Following)의 네 가지 차원으로 평가 프로토콜을 정의한다. MultiRef-Compass는 자동 평가 지표와 재판단 기능이 강화된 MLLM-as-a-Judge 프레임워크를 통합하여, 지각적 충실도와 참조 조건 구성 모두에 대한 확장 가능하고 감사 가능한 평가를 가능하게 한다. 8개의 대표적인 MR2AV 시스템에 대한 광범위한 실험은 여러 평가 차원에서 상당한 개선 여지가 있음을 보여주며, 포괄적인 벤치마크의 필요성을 강조하고 MultiRef-Compass를 향후 MR2AV 연구의 기반으로 자리매김한다.

인간의 인지는 이해와 생성을 분리하지 않는다. 칠판 앞의 교사는 말하고 동시에 그림을 그리며, 각 양식(modality)은 서로를 재구성한다. 본 논문에서는 이러한 결합 루프(coupled loop)를 인공 시스템에 도입한다. 마스크 확산 모델(Masked Diffusion Models, MDMs)은 이 작업에 이상적으로 적합하지만, 기존 샘플러는 텍스트와 이미지를 교차(interleaved)하여 디코딩하거나 이전 단계 기록만 공유하고 동일 단계 내에서 다른 양식의 최신 결정은 공유하지 않는 병렬 분기에서 독립적으로 업데이트한다. 여기에 MDM의 재마스킹(remasking) 불가능성이 더해져, 교차 양식 간 모순(cross-modal contradiction)은 탐지되지도 않고 수리되지도 않는다. 우리는 자기 수정 결합 마르코프 점프 프로세스(Self-Correcting Coupled Markov Jump Processes, SC-CMJP)를 도입한다. 이 프레임워크에서는 한 양식의 전이율(transition rate)이 교차 양식 주의(cross-modal attention)에 의해 가중된 다른 양식의 신뢰 점수(confidence score)의 범함수(functional)이다. 나아가, 재마스킹 점프(remasking jump)는 교차 양식 증거(cross-modal evidence)가 반대 방향으로 전환되는 순간 약속(commitment)을 철회한다. SC-CMJP와 함께, 우리는 CO$_2$Jump (Self-text{CO}rrecting text{CO}upled text{Jump})를 도입한다. 이는 공동 다중 모달 생성(joint multimodal generation)을 위한 새로운 훈련 없는 단일 패스 샘플러(single-pass sampler)이다. 훈련 및 평가 목적을 위해, 우리는 세 가지 대규모 공동 다중 모달 생성 코퍼스(corpus)인 JEdit-1M, JMaze-200K, JNono-200K를 생성하였으며, 이에 대응하는 분포 내(in-distribution) 및 분포 외(out-of-distribution) 벤치마크와 함께 공개할 예정이다. CO$_2$Jump는 이미지 이해 및 편집뿐만 아니라 시각적 추론(미로 및 노노그램 풀이)에서 최고의 공동 성능을 달성한다. 샘플러의 성능은 잡음 제거 단계(denoising step) 수에 따라 단조롭게 증가하며, 이는 교차 양식 결합의 이점이 궤적(trajectory) 전체에 걸쳐 누적된다는 증거이다. 프로젝트 페이지: https://coupled-jump.github.io

플레이어의 행동에 일관성 있게 반응하는 상호작용적 세계를 구축하는 것은 오랫동안 컴퓨터 그래픽스, 게임, 인공지능의 공통된 목표였다. 최근 비디오 생성 모델은 사용자 행동에 조건화된 미래 관측값을 예측함으로써 이 목표를 향한 데이터 기반 접근법을 제공하며, 잠재적인 차세대 게임 엔진으로 점점 더 인식되고 있다. 그러나 진정한 상호작용적 게임 세계를 구현하려면 변화하는 게임 조건에 따라 규칙을 따르는 상호작용 결과, 장기간에 걸쳐 지속되는 결과, 그리고 실시간으로 작동하는 생성 루프가 필요하다. 기존 게임 엔진은 반복적인 행동-상태-관측 루프를 통해 이러한 속성을 구현하는데, 여기서 플레이어 행동은 사전 정의된 규칙에 따라 명시적 게임 상태를 업데이트하고, 관측값은 그 결과 상태에서 렌더링된다. 이 루프를 조직적 렌즈로 삼아, 본 논문은 플레이어 행동 제어, 게임 상태 동역학, 상태-관측 지속성, 실시간 상호작용 생성의 네 가지 차원에서 상호작용적 게임 세계 모델링을 검토한다. 각 차원에 대해, 상호작용적 게임 세계에 필요한 역량에서 시작하여 기존 접근법을 대표적인 계열로 분류하고 각 계열의 장점과 절충점을 논의한다. 이 분석을 보완하여, 우리는 상태 인식 게임 세계 모델링을 위한 자원으로서 프레임 정렬된 플레이어 행동, 실제 게임 상태, 시각적 관측값을 포함한 90시간 이상의 게임플레이 데이터를 구조화 및 의미 주석과 함께 수집하는 Black Myth: Wukong용 확장 가능 데이터 엔진을 제시한다. 우리는 이 논문이 해당 분야의 현재 위치에 대한 명확한 그림을 제공하고 상호작용적 게임 세계로의 발전을 촉진하기를 바란다.

원시 시각 데이터로부터 직접 광범위한 세계 지식을 학습하는 것은 지능의 기본적인 능력이다. 본 연구에서는 순수 시각적 시연으로부터 복잡한 추론, 세부적인 물리적 동역학, 그리고 장기 계획을 동시에 학습하는 최초의 연구인 UniVR을 소개한다. UniVR의 핵심은 VR-GRPO로, 상호 보완적인 전역 및 단계별 보상을 갖춘 강화 학습 패러다임이다. 이 접근법은 과제별 휴리스틱이나 이미지-텍스트 쌍 없이도 추론 과정 전반에 걸쳐 논리적 일관성과 물리적 일관성을 강제한다. UniVR을 훈련하고 평가하기 위해, 장기 조작, 공간 퍼즐, 물리적 추론을 포괄하는 16개의 다양한 소스에서 선별된 대규모 벤치마크인 VR-X를 구축하였다. 이는 순수 시각적 프로토콜 하에서 이러한 이질적 능력들을 평가하는 최초의 종합적인 평가 세트이다. 주목할 만하게도, UniVR은 VR-X에서 최대 25%의 성능 향상을 달성하였으며, 그 뛰어난 시각적 추론 능력은 다양한 멀티모달 이해 벤치마크에서도 성능을 향상시킨다. 이러한 발견은 시각 공간 내에서의 추론에 대한 광범위한 잠재력을 강조하며, 모든 코드, 데이터, 모델은 추가 연구를 위해 오픈소스로 공개된다.

강화 학습은 대규모 언어 모델의 표준적인 사후 훈련 방법이 되었으나, 조밀한 전체 파라미터 업데이트는 두 가지 배포 관련 병목 현상을 초래한다: 흔히 테스트 시간 스케일링의 조기 포화로 나타나는 억제된 추론 성능, 그리고 다중 도메인 훈련이나 모델 병합을 통해 여러 능력을 통합할 때 발생하는 간섭이다. 본 연구는 이러한 업데이트 중 추론에 효과적인 요소가 주로 기저 모델의 스펙트럼 공간에 집중되어 있음을 보이며, 이를 바탕으로 부분공간 정렬 재배선(SAR)을 제안한다. SAR은 이 스펙트럼 코어를 유지하면서 직교 성분을 제거하는 사후 편집 방법이다. 따라서 SAR은 추론 성능 향상을 보존하고, 성능을 억제하거나 교차 도메인 간섭을 증폭시키는 잔여 업데이트 방향을 걸러낸다. 여러 모델 계열과 규모에 걸쳐 SAR은 전체 파라미터의 약 0.58%만으로 소형 추론 코어를 추출한다: 사후 훈련 성능의 99% 이상을 유지하면서 수학적 추론에서 고-k 탐색을 개선하며, 자체 모델의 7가지 에이전트 코딩 공개 벤치마크 중 6가지에서 성능을 향상시켜 코딩으로 일반화된다. 또한 SAR은 혼합 도메인 훈련 업데이트를 정제하여, 수학 추론 및 지시 따르기 능력을 유지하면서 억제된 코딩 능력을 해제한다. 나아가 전문가 간 모델 병합을 가능하게 하여, 이전 병합 기준선과 최고의 단일 도메인 전문가조차 능가하는 교차 도메인 일반화를 달성한다. 전반적으로, SAR은 파라미터 기하학에서 추론 효과적인 업데이트를 추출하는 것이 추론 및 다중 도메인 성능을 개선하는 훈련 없는 메커니즘으로 사용될 수 있음을 보여준다.

우리는 Wan-Streamer v0.3을 소개한다. 이는 기존의 네이티브 스트리밍 상호작용 모델을 단일 조직 관점, 즉 비디오는 세계(world)와 이벤트 스트림(event stream)의 결합이라는 관점으로 재구성한다. 세계(world)는 비디오가 전개되는 지속적인 맥락으로, 환경, 장면, 주체, 주변 음향 조건, 음성 특성 및 기타 상대적으로 안정적인 조건들을 포함한다. 이벤트 스트림(event stream)은 해당 세계 내에서 시간에 따라 변화하는 모든 것으로, 장면 또는 환경 변화, 주체 행동, 음성 및 기타 소리를 포함한다. 이는 대량의 실제 비디오에 대한 범용 사전학습 작업을 제공한다. 즉, 세계와 들어오는 입력이 주어졌을 때, 세계가 실시간으로 어떻게 움직이고, 변화하며, 반응하는지 예측하는 것이다. 그 결과 얻어진 역량은 광범위한 실시간 다운스트림 작업군에 특화될 수 있다. 우리는 이를 실시간 전이중(full-duplex) 시청각 상호작용에 구현하였으며, 여기서 이벤트 스트림은 에이전트의 음성과 자유형식 행동으로 구성된다. 기능적으로, 모델의 다중 모드 이해 과정은 시각-언어-행동(vision-language-action)과 유사하다. 즉, 다중 모드 사용자 입력을 언어 형태의 음성 및 행동 액션으로 매핑한다. Wan-Streamer v0.3은 v0.2의 운영 사양을 유지한다: 25 FPS의 640x368 비디오, 160ms 스트리밍 단위, 약 200ms의 모델 측 응답 지연 시간, 그리고 350ms 양방향 네트워크 예산 하에서 약 550ms의 총 상호작용 지연 시간.

온정책 증류(On-policy Distillation, OPD)는 LLM 후훈련의 핵심 패러다임으로 자리 잡았지만, 그 훈련 동역학은 여전히 제대로 이해되지 않고 있다. 본 연구에서는 OPD의 역할, 병리 현상 및 조정 메커니즘을 체계적으로 조사한다. 먼저 OPD의 역할을 탐색 촉매로 명확히 규명한다. OPD는 밀집된 토큰 수준의 지침을 통해 학생 모델을 올바른 추론 경로로 유도하되, 능력 상한선을 확장하지는 않는다. 이는 문제별 샘플링 수보다 프롬프트 다양성이 더 중요하며, 결정적으로 OPD의 효과가 안내 신호의 질에 전적으로 의존한다는 점을 입증함으로써 확인된다. 이러한 의존성은 탐색을 방해하는 두 가지 병리 현상을 드러낸다. 학생-교사 불일치(Student-Teacher Mismatch)는 큰 교사-학생 분포 차이로 인해 안내 신호가 과제 정확성과 불일치하게 되어 역효과를 내는 방향으로 탐색을 유도할 때 발생한다. 길이 악용(Length Exploitation)은 집계된 토큰 수준 목표 함수가 길이에 의존적인 지름길을 만들어 학생이 응답 절단이나 불필요한 패딩을 통해 보상 환경을 조작하게 하여, 추론 전략 대신 퇴행적인 길이 모드를 탐색하게 할 때 발생한다. 이러한 병리 현상을 제어하기 위해 경량의 신호 조정 방법, 즉 어드밴티지 클리핑과 로그 스케일 압축을 조사하여 탐색이 신뢰할 수 있는 신호에 의해 안내되도록 한다. 일곱 개의 벤치마크에 걸친 실험은 이러한 조정이 길이 악용을 완화하고 효과적인 증류를 가능하게 하여 OPD 변형 및 RLVR 기준선을 안정적으로 능가함을 보여준다. 이는 OPD에서 성공적인 탐색을 좌우하는 요소가 단순한 교사 규모가 아니라 잘 조정된 신호 품질임을 확인한다.

최근 로봇 파운데이션 모델들은 단일 단계 또는 짧은 기록의 시각-운동 맥락(visuomotor context)에서 작동합니다. 본 논문에서는 추론 지연 시간 증가 없이 시각-운동 맥락을 최신 정책 대비 세 자릿수 이상 늘어난 8K 타임스텝으로 확장하는 로봇 모델 및 학습 레시피인 Test-Time-Training Robot Policies (RoboTTT)를 소개합니다. 이 맥락 길이에서 인간 영상 시연으로부터의 원샷 맥락 모방(one-shot in-context imitation), 실시간 정책 개선, 외란에 대한 강건성, 다단계 장기 과제에서의 더 강력한 성능 등 새로운 로봇 기능을 구현합니다. 또한 사전 학습 맥락 길이가 증가함에 따라 폐루프 성능이 꾸준히 향상되는 현상을 최초로 관찰합니다. RoboTTT의 핵심은 Vision-Language-Action 정책과 같은 로봇 파운데이션 모델에 Test-Time Training을 통합한 것으로, 그 결과 순환 상태가 빠른 가중치(fast weights)로 구성된 시퀀스 모델이 생성됩니다. 이 가중치들은 학습과 추론 중 모두 경사 하강법에 의해 업데이트되며, 기록을 가중치 공간으로 압축하고 장기 맥락 조건화를 위한 맥락 정보를 검색합니다. 학습 맥락 길이를 확장하기 위해 레시피는 순차 행동 강제(sequence action forcing)와 시간에 따른 절단 역전파(truncated backpropagation through time)를 결합합니다. 까다로운 실제 로봇 조작 작업에서 RoboTTT는 단일 단계 맥락 기준선 대비 전체 성능을 87% 향상시키고, 어떤 기준선도 완료하지 못했던 5분, 10단계 조립 작업을 완전히 수행합니다. 8K 타임스텝 맥락으로 학습된 RoboTTT는 동일한 모델을 1K 타임스텝으로 사전 학습한 경우보다 62% 더 높은 성능을 보여, 맥락 길이가 로봇 파운데이션 모델의 새로운 확장 축임을 시사합니다. 동영상은 https://research.nvidia.com/labs/gear/robottt/ 에서 확인할 수 있습니다.

MeanFlow 생성기는 시간 간격에 걸친 평균 속도를 예측하여 빠른 소수 단계 샘플링을 가능하게 하므로 효율적인 생성에 매력적이다. 강화 학습(RL)은 확산 및 흐름 모델을 인간의 선호도 및 작업별 목표와 정렬시키는 강력한 방법으로 자리 잡았다. 특히, DiffusionNFT는 역과정 궤적이나 우도 추정이 필요 없는 효율적인 순방향 과정 RL 프레임워크를 제공한다. 그러나 이러한 RL 방법을 MeanFlow에 적용하는 것은 아직 충분히 탐구되지 않았다. DiffusionNFT는 순간 속도를 최적화하는 반면, MeanFlow는 평균 속도로 샘플링한다. 이러한 차이를 해소하기 위해 우리는 MeanFlowNFT를 도입한다. 평균 속도와 순간 속도를 연결하는 MeanFlow 항등식에서 영감을 받아, 유도된 순간 속도 예측기를 구성한다. 이 예측기에 DiffusionNFT 목적 함수를 적용하여 MeanFlow에 대한 보상 최적화를 명확히 정의한다. 샘플링은 평균 속도에 기반하여 MeanFlow의 빠른 소수 단계 생성을 유지한다. 우리는 나아가 MeanFlowNFT가 DiffusionNFT의 엄격한 정책 개선 보장을 계승함을 증명한다. 이미지 및 비디오 생성 실험에서 MeanFlowNFT가 기준선을 일관되게 개선함을 보여준다. 또한, 대부분의 지표에서(SD3.5-M의 8개 중 6개) 이전 최첨단 RL 튜닝 소수 단계 생성기를 능가하며, 소수 샘플링 단계만으로도 다중 단계 RL 튜닝 확산 모델을 능가할 수 있다. 예를 들어, Wan 2.1에서 4단계 MeanFlowNFT는 VBench 점수 84.33에 도달하여 50단계 LongCat-Video RL(82.57)을 능가한다.

최근 음악 생성 기반 모델이 업계의 큰 주목을 받고 있다. 그러나 효율적인 생성과 고충실도의 장시간 오디오 구현을 지원하는 동시에 제어 가능성을 확보하는 것은 여전히 어려운 과제로 남아 있다. 이러한 요구를 해결하기 위해, 우리는 장시간 상업용 노래 생성을 위한 간단하면서도 강력한 접근 방식인 WanSong을 제안한다. 자기회귀 및 계단식 다단계 파이프라인(예: 자기회귀 후 확산 모델)과 달리, WanSong은 순수 확산 기반 모델로, 최대 5분 길이의 고충실도 다국어 노래를 직접 생성하고 단일 실행으로 듀얼 트랙(보컬 및 배경 음악)을 출력한다. 또한, 우리의 확산 프레임워크는 단계 증류를 통해 더 빠른 추론을 가능하게 하며, 하위 편집 작업을 지원하기 위한 미세 조정 및 커스터마이징의 효율적인 경로를 제공한다.

루프 트랜스포머는 물리적 블록의 컴팩트 스택을 여러 라운드에 걸쳐 적용함으로써 순차적 계산을 확장하며, 저장된 파라미터를 증가시키지 않으면서 전개된 깊이를 늘린다. 이러한 재사용은 잔차 스케일링 문제를 변화시킨다: 비결합 트랜스포머에서는 각 잔차 분기가 고유한 파라미터 업데이트를 수신하고 적용하는 반면, 루프 트랜스포머에서는 하나의 공유 업데이트가 반복적 방문으로부터 그래디언트를 집계하고, 동일한 방문들이 다음 선형화된 순방향 패스에서 이를 다시 읽어 들인다. 우리는 방문 정렬 계수 κ_R에 의해 제어되는 1차 섭동 경계를 통해 이러한 결합 깊이 효과를 정형화한다. 이 경계는 방문들이 비상관될 때 DeepNorm 지수를 복원하지만, 보수적 정렬 체제에서는 고정된 물리적 깊이에서 루프 횟수가 증가함에 따라 지수가 1/4에서 1/2로 증가해야 한다. 그 결과 방법인 DeepLoop는 Post-LN DeepNorm 아키텍처를 유지하며, 전개된 깊이 N에 대해 α=(2N)^{1/2} 및 β=(8N)^{-1/2}로 설정한다. GPT-2 small 및 GPT-2 medium 규모의 GPT 스타일 루프 언어 모델에서 DeepLoop는 물리적 블록이 재방문되지 않을 때 중립적이며, 순환 깊이가 활성화되면 검증 손실과 하위 태스크 정확도를 개선한다. 이러한 결과는 안정적인 순환 깊이를 달성하기 위해서는 명목상 레이어 수뿐만 아니라 파라미터 방문을 고려한 잔차 스케일링 규칙이 필요함을 보여준다.

시각 장애인(Visually Impaired Individuals, VIIs)은 시각 정보에 대한 접근이 제한되어 일상생활에서 심각한 어려움을 겪는다. 다중 모달 대규모 언어 모델(Multimodal Large Language Models, MLLMs)이 일반적인 시각 및 언어 과제에서 인상적인 성과를 거두었지만, 실제 시각 장애인 지원 환경에서의 실용적 유용성은 여전히 크게 탐구되지 않은 상태이다. 이러한 격차를 해소하기 위해, 본 연구는 시각 장애인이 직접 촬영하거나 공유한 1인칭 시점 영상을 활용하여 시각 장애인 지원(Visually Impaired Assistance) 시나리오에서 MLLM을 평가하도록 특별히 설계된 포괄적 비디오 벤치마크인 VIABench를 제안한다. VIABench는 시각 지원에서 각기 다른 요구 사항을 목표로 하는 세 가지 핵심 과제를 정의한다. **사전 알림(Proactive Reminder)**: 모델이 진행 중인 비디오 콘텐츠를 해석하고, 다가오는 내비게이션에 중요한 이벤트를 사전에 예측하여 구두로 설명하는 능력을 평가한다. **시각 질의 응답(Visual Question Answering, VQA)**: 비디오 내 환경이나 객체에 대한 사용자의 질문에 답변하는 모델의 능력을 평가한다. **시각 유도 상호작용(Vision-Guided Interaction)**: 사용자와 환경 간의 의도적 상호작용을 수행하기 위해 맥락 인식 추론을 테스트한다. 강력하고 공정한 평가를 보장하기 위해, 온라인(실시간) 및 오프라인 설정을 모두 지원하는 엄격한 벤치마킹 파이프라인을 제안한다. 실험 결과, 현재의 MLLM은 특히 정확한 예측과 실시간 응답성을 요구하는 사전 알림(Proactive Reminder) 과제에서 시각 장애인에게 포괄적 지원을 제공하는 데 여전히 어려움을 겪고 있음을 보여준다. VIABench가 실제 지원을 위한 맞춤형 MLLM 개발을 위한 향후 연구를 촉진하여, 궁극적으로 시각 장애인의 내비게이션 및 상호작용 경험을 개선할 수 있기를 기대한다. 코드와 데이터는 https://github.com/MCG-NJU/VIABench에서 공개될 예정이다.

본 논문에서는 가중치를 전혀 변경하지 않고도 고정된 소형 언어 모델의 성능을 향상시키면서 동시에 비용을 획기적으로 낮추는 방법을 보고한다. 검증된 지식은 바이트 단위로 정확한 키-값(KV) 상태 인공물로서 한 번 저장되었다가, 이후 새로운 추론 컨텍스트에 이식(graft)되어 복원된다. 복원 과정은 비트 단위로 정확하다: 고정된 결정적 구성 하에서, 이식된 로짓(logits)은 새로 계산한 결과와 바이트 단위로 완전히 동일하며(SHA-256 동등성 검증), KL 발산은 0이고 50개 샘플에 걸쳐 100% argmax 일치를 보인다. 부동소수점 회전 인코딩을 사용하는 모델에서 자기 위치 이식(own-position graft)이 유일하게 수치적으로 정확한 동작점임을 보이며, 두 모델 규모(12B, 31B)와 두 GPU 대상(그중 하나는 사전 등록된 재생을 통해)에서 바이트 단위 정확성을 검증한다. AIME 2025에서, 고정된 Gemma-4-12B는 검증된 솔루션 라이브러리가 이식되자 80.0%에서 93.3%로 성능이 상승했으며, 이는 자체의 발표된 기준점인 77.5% 및 31B 형제 모델의 89.2%를 상회한다. 반복 사례의 경우, 베이스 모델이 401,026 토큰 예산 내에서 결코 해결하지 못하는 여덟 개의 문제가 캐시된 검증 솔루션으로부터 총 61개의 디코드 토큰만으로 답변되었으며, 이는 6,574배 적은 토큰과 약 8,700배 적은 에너지 소비에 해당한다. 성능 향상 자체는 보류 전이(31B에서 7개 중 7개 성공)를 통해 입증된다. 동일한 바이트 단위 저장소는 사용 가능한 컨텍스트를 추가 가속기 메모리 없이 32,768에서 2,854,766 토큰으로 확장하며, 동일 아키텍처의 기기 간에 바이트 단위로 동일하게 전송된다. 시스템은 동작 수준에서 기술되며, 엔진은 독점적이지만 보고된 모든 수치는 확정된 입력 및 출력 해시로 뒷받침되므로 엔진 없이도 채점 결과를 재확인할 수 있다.

맥락 내 학습은 일반적으로 조건부 추론의 한 형태로 해석되며, 이때 프롬프트는 맥락을 명시하고 모델의 출력은 그에 대응하는 조건부 분포의 추정치로 간주된다. 이러한 해석이 성립한다면, LLM 추정치는 기본적인 확률적 항등식을 충족해야 한다. 특히, 전확률의 법칙은 사전 가중치가 적용된 조건부 분포가 모집단의 모든 유효한 분할에 대해 모집단 수준의 주변 분포로 집계됨을 주장한다. 본 연구에서는 LLM 추정치가 이러한 자기 일관성 원칙을 어느 정도 준수하는지 조사한다. 이진 트리를 평가 프레임워크로 사용하여 모집단을 점차 세분화된 하위 집단으로 재귀적으로 분할한다. 그런 다음 LLM에 언어화된 하위 집단 설명을 맥락 내에서 프롬프트로 제공하고, 결과 추정치를 다시 모집단 수준 추정치로 집계한 후 다양한 세분화 수준의 분할 간에 비교한다. 이 프로토콜을 다양한 문제 영역과 최첨단 경계 모델에 적용한 결과, 기본적인 일관성 속성의 광범위한 위반이 관찰되었다. 페르소나 프롬프팅에 대한 심층 연구를 통해 우리는 '거대 오류(macro fallacy)'라는 패턴을 발견했다. 더 세분화된 하위 집단 응답으로부터 재구성된 추정치는 직접적인 모집단 수준 추정치보다 인간 참조 데이터와 더 잘 일치하는 경우가 많았다. 이 효과는 트리 구조와 추정 작업의 변화에 걸쳐 지속되며, 암시적 프롬프팅을 통해 부분적으로 회복될 수 있다. 종합하면, 이러한 발견은 모델이 관련 하위 집단 지식을 보유하고 있지만 이를 집계 추정치로 신뢰성 있게 전달하지는 못함을 시사한다. 이러한 차이는 통계적 자기 일관성을 LLM 평가를 위한 포화되지 않은 참조 없는 기준으로 확립한다.

최근의 일반화 가능한 3D 가우시안 스플래팅 모델은 장기 시퀀스의 새로운 시점 합성(NVS)을 발전시켰지만, 상당한 중복 계산 비용이 발생합니다. 우리는 두 가지 관찰을 바탕으로 이러한 중복성을 완화할 수 있음을 확인했습니다: (i) 고정밀 기하학은 고품질 NVS에 엄격히 요구되지 않으며, (ii) 외관 학습은 일반적으로 기하학 복원보다 쉽습니다. 이러한 통찰에 기반하여, 우리는 기하학과 외관 모델링을 분리하는 비대칭 아키텍처를 제안합니다. 기하학 브랜치는 다중 뷰 재구성을 위해 대부분의 파라미터를 사용하여 거친 수준의 토큰을 처리하는 반면, 외관 브랜치는 현저히 적은 파라미터를 사용하여 세밀한 수준의 토큰을 처리하여 세부 사항을 포착합니다. 두 브랜치는 양방향 연결을 통해 상호 작용하여 각각의 작업에 대해 상호 지도를 가능하게 합니다. 이러한 작업 인식 비대칭성은 계산 중복성을 줄이고 계산을 보다 현명하게 할당하여 파라미터 효율성을 높이고 더 작은 모델이 강력한 성능을 달성할 수 있게 합니다. 32개의 시점에서 960P 입력에 대해, 우리 모델은 최적화 기반 방법과 일치하는 성능을 보이면서 거의 800배 속도 향상을 제공하며, 현저히 적은 파라미터와 감소된 학습/추론 오버헤드로 최첨단 일반화 가능 모델의 제로샷 성능을 능가하여 전반적인 효율성 개선을 달성합니다.

에이전트 기반 검색 증강 생성(Agentic Retrieval-Augmented Generation, RAG)은 언어 모델이 반복적으로 추론하고, 검색 쿼리를 생성하며, 증거를 검색하고, 답변을 예측할 수 있도록 함으로써 정적 RAG를 확장한다. 그러나 모델이 언제 검색할지, 어휘 매칭 또는 의미 유사성을 사용할지, 그리고 에이전트 추론을 방해하는 무관한 토큰을 방지하기 위해 컨텍스트 세분성을 어떻게 제어할지 결정하는 것은 여전히 어려운 과제이다. 본 논문에서는 다단계 추론 과정에서 보완적 검색 도구들을 적응적으로 조정하도록 에이전트를 훈련하기 위한 강화 학습(Reinforcement Learning, RL) 프레임워크인 GRASP를 소개한다. GRASP는 에이전트에게 의미 검색, 키워드 검색, 문단 읽기 행동을 제공하여, 문장 수준의 증거를 검색하고 필요할 때만 추가 컨텍스트를 확장할 수 있게 한다. 우리는 정답 정확도, 증거 기반 읽기, 보완적 검색, 그리고 턴 효율성을 종합적으로 고려한 보상으로 정책을 훈련한다. 다중 홉 추론 벤치마크 실험 결과, GRASP는 단일 단계 검색, 프롬프트 기반 에이전트 RAG, RL 기반 검색 기준선과 비교하여 검색 재현율과 하위 질의 응답 성능을 모두 향상시켰다. 정성 분석 및 절제 연구는 학습된 정책이 해석 가능한 대략적 읽기와 세밀한 읽기 행동을 개발함을 보여준다. 즉, 의미 검색을 광범위한 탐색에, 문단 읽기를 지역적 검증에, 키워드 검색을 개체별 증거 획득에 사용한다. 이러한 결과는 검색 신호와 컨텍스트 세분성을 조정하는 방법을 학습하는 것이 에이전트의 올바른 추론에 중요함을 시사한다.

체화된 인지는 에이전트가 고수준 작업 추론과 달성해야 할 물리적 상태를 연결하도록 요구한다. 우리는 언어-시각 공동 추론 및 상상력을 갖춘 체화된 인지 기반 모델인 Hy-Embodied-RxBrain을 소개한다. 장면 이해와 텍스트 기반 의사 결정을 강조하는 시각-언어 모델이나 주로 미래 시각 상태를 예측하는 생성적 세계 모델과 달리, RxBrain은 언어와 시각적 상상이 상호 보완적 역할을 하는 단일 계획 시퀀스로 체화된 계획을 표현한다. 언어는 작업 분해, 계획 기본 요소, 제약 조건, 시간적 순서 및 의사 결정 논리를 포함한 계획의 추상적 구조를 제공하는 반면, 시각적 상상은 세계 상태 예측과 공동 하위 목표 계획을 통해 이 구조를 구체화하여 각 계획 단계를 중간 및 최종 물리적 상태와 연관시킨다. RxBrain은 하나의 모델 내에서 언어, 이미지 및 비디오 이해와 생성을 지원하는 통합 다중 모드 Mixture-of-Transformers 아키텍처를 채택한다. 이러한 능력을 학습하기 위해, 우리는 비디오를 계획 단계로 분해하고 이를 시각적 상태 전환과 정렬함으로써 체화된 비디오를 공동 텍스트-시각 계획 감독으로 변환하는 자동 파이프라인을 구축한다. 또한 우리는 모델이 별도의 이해 또는 생성이 아닌 공동 텍스트 및 시각 구성 요소를 통해 체화된 계획을 표현할 수 있는지 평가하기 위해 RxBrain-Bench를 도입한다. 실험 결과는 RxBrain이 체화된 이해 및 생성 능력을 유지하며, 결합된 텍스트 추론, 세계 상태 예측 및 공동 하위 목표 계획을 포함한 계획을 생성함을 보여준다. 또한 우리는 RxBrain을 연속 로봇 행동 생성으로 확장하였으며, 대규모 행동 데이터 사전 학습 없이도 유망한 실제 로봇 성능을 보여준다. 이러한 결과는 체화된 인지를 위한 기반 모델을 향한 첫 걸음을 제공한다.

CAD-이미지 정렬은 단일 RGB 이미지에서 객체의 9D 자세(회전, 이동, 비등방 스케일)를 추정하는 것을 목표로 하며, 로보틱스와 증강 현실 분야에 적용될 수 있습니다. 최근의 제로샷 방법들은 시각적 기반 모델을 사용하여 이미지 영역과 CAD 모델을 매칭하지만, 일반적으로 이러한 대응 관계는 외관 기반이며 폐색이나 시뮬레이션-실제 도메인 변화 하에서 성능이 저하됩니다. 이러한 한계를 해결하기 위해, 우리는 SUFLECA(Scaling Up Feature LEarning for CAD Alignment)를 소개합니다. 이는 제로샷 CAD 정렬을 위한 약지도 학습 프레임워크로, 두 가지 주요 기여를 합니다. 첫째, SUFLECA는 12개의 실제 및 합성 데이터셋에 걸친 674K 이미지에 대해 Normalized Object Coordinates(NOCs) 감독을 통해 사전 학습된 시각적 표현으로부터 기하학 기반 특징 학습을 확장하여, 도메인 간 일반화되는 컴팩트한 기하학 인식 특징을 학습합니다. 둘째, 우리는 신뢰할 수 있는 일대일 CAD-이미지 대응 관계를 구축하는 기하학적으로 일관된 매칭 알고리즘을 제안합니다. 이러한 기여를 통해 반복적인 자세 정제 없이도 객체 인스턴스당 정확하고 서브초 단위의 정렬이 가능합니다. ScanNet25k 데이터셋에서 SUFLECA는 33.4%/42.3%의 카테고리/인스턴스 정확도를 달성하여, 더 작은 계산 비용으로 가장 강력한 제로샷 기준선을 10.3/12.2 퍼센트 포인트 초과하였으며, 이 벤치마크에서 처음으로 완전 지도 학습 방법조차 능가했습니다. 코드는 https://github.com/snt-arg/SUFLECA 에서 확인할 수 있습니다.

비디오 모델은 비전 기초 모델로 진화하고 있지만, 여전히 인간과 같은 다단계 추론이 부족하다. 스트리밍 자기회귀 확산 모델은 효율적이지만 추론에 한계가 있는 반면, 양방향 확산은 밀집된 프레임 수준 잡음 제거로 인해 높은 추론 비용으로 전역 수정을 가능하게 한다. 두 패러다임 모두 복잡한 추론 작업에 대해 논리적 일관성과 저지연 스트리밍을 달성하는 데 어려움을 겪는다. 본 논문은 다단계 추론을 위해 계층적 잠재 변수를 인과적 비디오 생성에 통합하는 통합 프레임워크인 HDR(시각적 추론을 위한 계층적 잡음 제거)을 제안한다. HDR은 비디오 잠재 변수를 트리 구조 계층으로 구성하여 스트리밍 출력 전에 대략적에서 세부적인 추론을 가능하게 한다. 대략적 잡음 제거 계층은 전역 계획을 위해 불확실한 가설을 보존하고, 세부 계층은 이를 점진적으로 구체적인 시각 상태로 정제한다. 희소 계층적 주의 패턴(SHAP)은 시간적 주의 비용을 더욱 감소시킨다. 본 논문은 분포 외 사례를 포함하는 수준별 다단계 비디오 추론 벤치마크를 소개하며, 미로 탐색, 하노이 탑, 한 줄 그리기, 슬라이딩 퍼즐, 소코반, 물 따르기의 여섯 가지 작업을 포함한다. 스트리밍 자기회귀 확산 기준선과 비교하여 HDR은 성공률을 34.22에서 60.29(76.2% 상대적 향상)로 개선하고 평균 진행률을 76.00에서 89.56으로 증가시켜 더 일관된 추론 궤적을 보여준다. HDR은 잠재 변수당 0.70초의 저지연 스트리밍을 유지하여 양방향 확산보다 54.2배 빠른 추론을 달성한다. 또한 2%의 학습 데이터만으로 전체 데이터 성능의 82.9%를 유지하며, 양방향 확산의 52.0%와 대조된다. 실제 로봇 실험은 물리적 상호작용 및 세계 모델링에 대한 HDR의 잠재력을 추가로 입증한다. 프로젝트 데모: https://hierarchical-diffusion-reasoning.github.io/.

자율주행 시스템의 검증을 위해서는 다양한 규정을 준수하는 테스트 시나리오가 필요하다. 시뮬레이션 기반 테스트에서 시나리오는 실행 가능한 스크립트로 정의된다. 그러나 규제 설명으로부터 이러한 스크립트를 자동으로 생성하는 것은 여전히 해결되지 않은 과제이며, 기존 접근법은 근본적인 트레이드오프에 직면해 있다. 검색-조립(retrieval-assemble) 방식은 합리적인 컴파일 성공률을 달성하지만 확장성이 부족한 반면, 검색 기반 전체 스크립트 생성은 낮은 컴파일 성공률을 보인다. 본 논문에서는 도메인 특화 언어(DSL)로 시나리오 스크립트를 생성하는 최초의 반복적 검색 증강 프레임워크인 Chat2Scenic을 제시한다. 구체적으로 Chat2Scenic은 대화형 시나리오 개선을 지원하는 챗봇 인터페이스를 제공하며, 검색 증강 생성(RAG)을 통합하여 규제 지식과 DSL 문법에 기반한 시나리오 생성을 지원한다. 또한 NHTSA 및 유엔 차량 규정을 비롯한 다양한 규제 문서와 기타 출처로부터 추출한 123개의 시나리오로 구성된 시나리오 생성용 공개 벤치마크를 제안한다. 최신 거대 언어 모델(LLM)을 사용한 광범위한 평가 결과, Chat2Scenic은 76.42%의 컴파일 성공률(CSR)과 58.17%의 프레임워크 정확도(FA)를 달성하여 기존 방식(검색-조립: CSR 30.08%, FA 11.03%; 검색 기반 전체 스크립트 생성: CSR 16.26%, FA 10.86%)을 능가하는 성능을 입증했다. 향후 연구를 위해 코드를 오픈소스로 공개한다(https://github.com/TUM-AVS/chat2scenic).

본 논문에서는 토큰 시간 연속 확산(TTCD)이라는 새로운 확산 언어 모델을 소개한다. 이 모델은 (a) 연속 공간에서 작동하며, 가우시안 노이즈를 추가 샘플링 없이 결정론적으로 최종 토큰 캔버스에 매핑하고, 중요한 점으로 (b) 토큰별 시간이라는 새로운 개념을 도입하여 일부 토큰이 다른 토큰보다 더 빠른 속도로 노이즈에서 토큰으로 진행되도록 한다. 연속 공간 모델링은 TTCD가 여러 토큰의 병렬 샘플링을 피하는 데 도움을 주며, 이는 이산 공간에서만 반복하는 모델의 고속화 시 부정확성의 주요 원인이다. 토큰별 시간 개념은 TTCD가 조건부 생성을 더 잘 모델링하고, 더 확실한 토큰이 더 빠른 속도로 진행되도록 하며, 정제 과정에서 토큰 간의 차별화된 상호 영향을 가능하게 한다. TTCD는 고속화 시 이산 모델보다 우수한 성능을 보인다. 우리는 OpenWebText에서 1억 6천만 개의 파라미터를 가진 TTCD 모델을 훈련한 후 자기 증류를 수행했다. 고속화 조건에서 비조건부 생성 품질은 유사하며, 동일한 데이터로 훈련되고 자기 증류된 유사한 크기의 기존 여러 모델보다 조건부 생성에서 더 나은 성능을 달성함을 확인했다. 스도쿠 문제 해결에서도 유사한 성능 향상을 얻었다.