일간 논문

세계 모델을 확장하는 일반적인 전략은 더 많은 연산을 투입해 더 많은 크롤링 비디오로 훈련하는 것이다. 우리는 이러한 전략이 비효율적이라고 주장한다. 세계 모델의 확장에는 근거 있는 보상 신호를 제공하는 재귀적 데이터 엔진 또한 필요하기 때문이다. 코드 에이전트의 성공은 이것이 왜 중요한지를 잘 보여준다. 코드는 실행 가능하므로, 컴파일러와 런타임이 LLM의 강화학습(RL) 사후 훈련에 고품질의 보상을 제공할 수 있다. 반면 공간 생성은 여전히 CLIP 점수와 같은 모호한 프록시에 크게 의존한다. 이러한 신호는 불명확하고 편향되어 있어 RL 사후 훈련을 지원하기 어렵다. 이에 비해 게임 개발은 공간 세계 모델에 대해 누락된 보상 환경을 제공한다. 게임 엔진에 의해 인코딩된 장면은 실행 가능한 세계 명세이다. 엔진은 충돌, 물리, 이동 가능성, 제한된 플레이 가능성을 효율적으로 검사할 수 있으며, 개발자는 장면의 수용 여부를 판단하여 전역 검증 신호를 제공한다. 또한 게임 개발은 RL 사후 훈련을 위한 현실적인 장기 궤적 데이터를 제공한다. 이에 우리는 밀집된 엔진 신호와 개발 과정에서 발생하는 암묵적 인간 수용 피드백을 결합한 사후 훈련 패러다임인 인간-엔진 검증을 통한 강화학습(RLHEV)을 제안한다.

최근 비디오 생성 모델은 점점 더 세계 모델(world model)로 간주되고 있다. 많은 물리적 과정은 둘 이상의 유효한 방식으로 전개될 수 있다. 따라서 세계 모델은 그럴듯한 궤적 하나만 재현해서는 안 되며, 동일한 초기 관측과 행동 하에서 가능한 행동들의 분포도 재현해야 한다. 우리는 이러한 분포 수준의 요구사항을 확률적 정합(probabilistic alignment)이라고 부른다. 그러나 기존 평가는 주로 개별 비디오의 타당성을 평가할 뿐, 반복 생성이 올바른 분포를 복원하는지 여부는 검증하지 않는다. 이는 핵심 질문을 제기한다: 현재 비디오 생성기는 확률적으로 정합된 세계 모델링에서 얼마나 떨어져 있는가? 이 질문에 답하기 위해, 우리는 확률적 정합을 세계 모델의 분포적 기준으로 정식화하고, 비디오 생성기를 세계 역학의 확률적 샘플러로 평가하기 위한 벤치마크인 PAWBench를 도입한다. 또한 반복적인 비디오 롤아웃을 가능한 물리적 행동들에 대한 경험적 분포로 변환하는 결과 수준 프로토콜인 PAWEval을 제안한다. 50개의 시나리오와 11개의 현재 시스템에 걸쳐, 유효한 행동의 범위를 복원하면서 기준 확률과 일관되게 일치하는 모델은 없었다. 이러한 격차를 확인한 후, 우리는 언어 프롬프트, 초기 노이즈 샘플링, 또는 모델 훈련이 모델의 예측 분포를 재형성할 수 있는지 시험한다. 우리는 이 연구가 확률적으로 정합된 세계 모델링으로 나아가기 위한 향후 노력의 기초가 될 수 있다고 믿는다.

멀티모달 대규모 언어 모델(MLLM)은 거리 뷰를 해석할 수 있지만, 도시적 행위성(urban agency)은 에이전트가 이동을 시작한 후에도 그러한 지역적 증거가 유용하게 유지되는지에 달려 있다. 본 논문에서는 현재의 MLLM 에이전트가 복잡한 실규모 도시에서 지역적 도시 인식을 얼마나 신뢰할 수 있는 행동으로 전환할 수 있는지를 조사한다. 우리는 홍콩 전역의 3차원 지리공간 데이터로 구축된 물리적 제약이 있는 홍콩 복제 환경에서 이 질문을 시험 가능하게 만드는 최초의 샌드박스인 UrbanGround를 제안한다. UrbanGround는 1인칭 시점의 폐루프 상호작용을 지원하며 내비게이션을 위한 대화형 지도를 제공한다. 에이전트는 3D 도시에 직접 진입하여 1인칭 시점으로 탐색할 수 있다. 우리의 분석은 세 가지 연구 질문을 통해 공간 문제의 성장을 추적한다. 먼저, 에이전트가 능동적 관찰 후 공간 질문에 답할 수 있을 만큼 지역 장면을 충분히 근거 지을 수 있는지 시험한다. 다음으로, 목적지가 더 멀어지고 덜 명시적이 될 때 그러한 근거 설정이 내비게이션을 지원하는지 묻는다. 마지막으로, 그 결과적인 행동이 경로 가용성과 보행자 이동의 변화에도 유지되는지 검토한다. 현행 MLLM 에이전트는 일반적으로 시각적 인식과 단거리 공간 추론에서 유용한 원자적 능력을 보여주지만, 방향 감각과 보행자 인식 이동은 여전히 신뢰할 수 없다. 그들의 핵심 실패는 확장된 탐색 과정에서 드러나는데, 지역적 능력이 지속적인 목표 지향 행동으로 구성되지 못하고 오류가 효과적 교정 없이 누적된다. 우리는 UrbanGround가 복잡하고 개방적인 도시 환경에서 현재 MLLM 에이전트가 얼마나 멀리 신뢰할 수 있게 탐색할 수 있는지에 대한 더 폭넓은 연구를 지원하기를 기대한다.

최근 주목받는 사후 학습(post-training) 기법인 강화 학습(Reinforcement Learning, RL)과 온-정책 자기 증류(On-Policy Self-Distillation, OPSD)는 대규모 언어 모델의 수학적 추론에서 빠른 진전을 이끌어 왔지만, 정답 레이블(ground-truth labels)에 의존하기 때문에 테스트 시점 학습(Test-Time Training, TTT)은 불가능하다. 정답을 다수결 기반 의사 레이블(majority-vote pseudo-labels)로 대체하는 것은 자연스러운 대안이나, 이는 취약하다. 잘못된 투표는 교사(teacher)를 오염시키고 모든 토큰을 오도하기 때문이다. 우리는 이러한 실패 모드가 비대칭적임을 관찰한다. 즉, 의사 레이블과 불일치하는 롤아웃(rollout)은 투표 자체의 정확성과 무관하게 일반적으로 틀리다. 이 관찰에 기반하여, 우리는 동의하는 롤아웃은 OPSD로 증류하고 불일치하는 롤아웃은 그룹 RL(Grouped RL)로 페널티를 부과하는 비대칭 목적 함수인 테스트 시점 정책 최적화(Test-Time Policy Optimization, TTPO)를 제안한다. 토큰 수준 선택은 두 분기를 더욱 정교하게 다듬는다. 증류는 이미 수렴한 위치의 가중치를 낮추는 반면, RL은 확신 있는 오류만 페널티를 준다. 두 업데이트 모두 잦은 의사 레이블 오류가 있더라도 근거를 잘 유지하며, 다수결 라우팅은 모델이 개선됨에 따라 더 긴밀한 자기 지도(self-supervision)를 제공한다. 레이블 없이도 TTPO는 다섯 가지 대회 수준 벤치마크에서 레이블 지도 OPSD와 동등한 성능을 보이며, TTT에서 Qwen3-1.7B를 38.0%에서 45.2%로 향상시키고, thinking 없이 +25.2%에서 +36.4%의 성능 향상을 달성하며, 강력한 교차 작업 일반화를 입증한다.

온-폴리시 증류(OPD)는 사전 훈련된 작업별 교사 모델을 활용하여 밀집 감독 신호를 제공하는 방식으로, 대규모 언어 모델(LLM)에서 큰 성공을 거두었으며 최근에는 플로우 매칭 모델에도 적용되었다. 그러나 이 패러다임은 두 가지 주요 문제를 안고 있다. 첫째, 새로운 목표마다 별도의 작업별 교사 모델을 훈련하는 데 높은 계산 비용이 소요된다. 둘째, 교사 모델과 학생 모델의 분포 불일치로 인해 생성 궤적을 따라 오류가 누적되는 경우가 많다. 본 논문에서는 학생 자신의 자기 탐색을 단계별 감독으로 전환하는, 교사가 없는 OPD 프레임워크인 Self-OPD를 제안한다. 각 시간 단계에서 Self-OPD는 결정론적 다음 상태 예측을 K개의 확률적 SDE 후보로 분기하고, 이를 ODE 샘플러로 롤아웃하여 보상을 결정론적 자기 참조 기준선과 비교함으로써 정규화된 어드밴티지를 얻는다. 속도장은 모든 분기 풀-푸시 목적 함수로 최적화되며, 여기서 높은 어드밴티지를 가진 분기는 학생을 끌어당기고 낮은 어드밴티지를 가진 분기는 방향 인식 감쇠와 SDE 분산 정규화를 적용하여 학생을 밀어낸다. 다중 목표 정렬을 위해 Self-OPD는 보상 수준에서 정규화된 점수를 융합하여 직접적인 기울기 충돌을 피한다. 단일 및 혼합 보상 벤치마크 실험에서 Self-OPD는 작업별 교사 모델 없이도 기존 RL 및 OPD 방법들을 능가하는 성능을 보여준다.

LLM 에이전트는 외부 환경과 상호작용하는 방법을 학습하기 위해 점차 생성된 상호작용 데이터에 의존하고 있다. 에이전트 데이터 생성은 단순히 풍부한 경험을 산출하는 것을 넘어 유용한 경험을 생산하면서 환경, 작업, 상호작용, 성공 신호 간의 일관성을 유지해야 한다. 기존 연구는 다양한 에이전트 영역에 걸쳐 이루어졌지만, 도메인 중심의 구성과 이질적인 평가 방식은 공통된 생성 메커니즘을 모호하게 만들고 후보 구성(candidate construction)과 검증 및 선택을 혼동하는 경우가 많다. 본 연구는 해당 분야에 대한 2수준 프레임워크를 제시한다. 첫째, 에이전트 데이터를 환경 명세, 작업 신호, 상호작용 구현, 선택적 검증기로 구성된 공통 분해 객체 (E,q,τ,v)로 표현한다. 생성 패러다임은 주요 기준점(primary anchor)과 의존 구조에 따라 체계화한다. 둘째, 생성을 정확성-복잡성-다양성(Accuracy-Complexity-divErsity, ACE) 관점을 통한 제약적 분포 설계로 정식화한다. 정확성은 근거 기반이며 내부적으로 일관된 데이터의 실현 가능한 지지 영역을 확립한다. 이 지지 영역 내에서 복잡성은 명시된 학습자와 실행 구성의 능력에 상대적으로 학습 질량을 배치하며, 다양성은 데이터의 범위와 중복성을 통제한다. 이 프레임워크를 활용하여 기존 연구가 생성된 경험을 어떻게 검증하고, 난이도를 구축·보정하며, 행동 범위를 확장하는지 분석한다. 문헌 분석 결과, 실행 기반 정확성, 학습자 상대적 복잡성, 그리고 표면적 변이나 데이터셋 규모를 넘어선 다양성으로의 전환이 확인된다. 또한 ACE 관점을 통해 에이전트 데이터 생성의 확장, 데이터 소스, 훈련 체계, 적응형 학습에 대한 함의를 포함한 광범위한 방향과 새로운 추세를 논의한다. 궁극적으로 핵심 과제는 단순히 더 많은 데이터를 생성하는 것이 아니라, 에이전트와 환경이 진화함에 따라 유효하고 정보성이 있으며 비중복적인 경험을 지속적으로 배분하는 데 있다.

AI 기반 디지털 아바타 스트리머는 실시간으로 제품 질문에 응답하고, 시청자와 상호작용하며, 마케팅 전략을 실행해야 하므로, 낮은 지연 시간, 잦은 전략 업데이트, 정확하면서도 효과적인 응답이 요구된다. 모델 가중치와 독립적으로 Skills, Hooks, 프롬프트, 도구를 업데이트할 수 있는 진화 가능한 하네스(Evolvable Harnesses)는 빠른 반복을 가능하게 하지만, 대형 모델은 제로샷으로 적응하지만 너무 느리고, 소형 모델은 지연 시간 목표를 충족하지만 고정된 하네스 구성에 과적합되는 상충 관계를 드러낸다. 우리는 변화하는 하네스에 적응하도록 소형 모델을 학습시키는 하네스 인식 학습(Harness-Aware Training, HAT)을 제안한다. 핵심 구성 요소인 하네스 상태 증강(Harness-State Augmentation, HSA)은 Skill 식별자와 내용, 도구 스키마, 프롬프트 구조, Hook 함수에 작업 보존 변환을 적용한다. 학습은 세 단계로 진행된다: HSA-SFT는 다양한 환경에서 강력한 모델의 궤적으로부터 추론과 도구 사용을 학습하고, 일반 온정책 증류(General On-Policy Distillation)는 SFT 중 상실된 일반화를 복원하며, HSA-RL은 증강된 환경에서 강화학습을 통해 변화하는 하네스에 대한 강건성을 향상시킨다. 네 개의 평가 세트에서 HAT는 Live-Stream QA에서 94.8(기준 80.3; 가장 강력한 일반 LLM 93.0), Harness-Variant QA에서 94.6(기준 75.4)을 달성한다. 기준 모델 대비 IFEval을 7.7점 낮추는 고정 하네스 SFT와 달리, HAT는 이러한 성능 회귀를 피하고 83.5에 도달한다. 하나의 NVIDIA H20 GPU에서 최적화된 시스템은 P50 및 P95 지연 시간으로 각각 3.4초와 8.1초를 제공한다. 또한 타오바오 라이브의 디지털 아바타 서비스에 배포되어 GMV 및 상품 페이지 조회수에서 긍정적인 온라인 A/B 테스트 결과를 얻었다.

현대 비디오 게임은 1인칭 지각, 빠른 시각적 변화, 지속적인 세계 상태, 그리고 이기종 네이티브 컨트롤을 결합한다. 기존 게임 에이전트는 시각적·태스크 컨텍스트를 동작에 직접 매핑하지만 명시적인 세계 역학 모델링이 부족한 반면, 상호작용형 게임 세계 모델은 제공된 동작으로부터 시각적 미래를 예측하지만 태스크 정책으로 기능하지는 않는다. World-Action 모델(WAM)은 이러한 목표들을 통합하지만, 비디오 게임의 역학과 개방형 상호작용 하에서는 아직 거의 탐구되지 않았다. 우리는 현재까지 알려진 바로는 네이티브 폐루프 게임플레이와 GUI 제어를 위한 최초의 WAM인 GameWAM을 소개한다. GameWAM은 블록-인과적 조건화(block-causal conditioning)와 플로우 매칭(flow matching)을 채택한 병렬 시각·동작 생성 프로세스를 통해 미래 시각적 관측과 실행 가능한 키보드-마우스 궤적을 공동으로 생성한다. 세계-동작 공동 학습을 지원하기 위해, 우리는 동기화된 게임플레이·GUI 궤적을 구축한다. 이기종 네이티브 컨트롤을 처리하기 위해, GameWAM은 각 동작 단계에서 게임플레이/GUI 모드를 예측하고, 모드별 예측 분포와 연속 동작 정규화를 사용하여 동작을 생성한다. 장기 지평 상호작용을 위해, 블록-사이클 제어는 약정된 지평(committed horizon)을 넘어 예측하고, 짧은 동작 접두사만 실행한 후 새로운 관측으로부터 재계획을 수행한다. 이와 함께 세분화된 사이클 내부 컨텍스트와 계층적 사이클 간 히스토리가 시간적 연속성을 보존한다. 실험 결과, 비교 대상 에이전트보다 더 적은 수의 네이티브 동작만을 실행하고도 경쟁력 있는 태스크 성공을 달성함을 보여준다. 또한 우리는 저주파 동작 소스 각인(Low-Frequency Action Source Imprinting, LASI)을 발견한다. 이는 고정된 조건화 하에서 샘플링된 동작 소스의 저주파 성분이 생성된 거친 카메라 움직임을 체계적으로 좌우하는 현상으로, 생성적 제어의 소스 민감성 실패 모드를 드러낸다. 프로젝트 페이지는 https://yunncheng.github.io/GameWAM/ 에서 확인할 수 있다.

장기 과제 에이전트 실행은 현재 실행과 향후 작업을 모두 개선할 수 있는 경험을 생성한다. 대부분의 자기 개선 방법은 실행이 종료된 후에만 이 경험을 처리하므로, 활성 실행을 전환하거나 그로부터 얻은 교훈을 즉시 적용하고 검증할 수 없다. 우리는 자기 개선이 대신 실시간으로 이루어져야 하며, 새롭게 생성되는 경험을 활용하여 활성 실행을 전환하고 지속적 하네스를 업데이트해야 한다고 주장한다. 기존 에이전트 아키텍처는 이러한 목표를 완전히 지원하지 못한다. 단일 에이전트 자기 교정은 작업 실행과 궤적 평가를 하나의 컨텍스트 내에서 결합하는 반면, 하위 에이전트 위임은 실행을 분리하지만 일반적으로 활성 하위 에이전트를 전환할 수 없다. 우리는 두 가지 결합 메커니즘을 통해 실시간 자기 개선을 구현하는 감독자-작업자 하네스인 PILOT을 제시한다: (1) 실시간 조향은 실행 중에 별도의 감독자가 활성 작업자를 전환하거나 중단할 수 있게 하며, (2) 실시간 자기 진화는 실행 중에 드러난 절차와 실패 모드를 재사용 가능한 기술과 메모리로 정제한다. 두 개의 고정 백본과 세 개의 벤치마크에 걸쳐 PILOT은 여섯 가지 구성 중 다섯 가지에서 1위를 차지한다. Terminal-Bench 2.0에서 PILOT은 비교 대상 하네스보다 최대 9.8퍼센트포인트 높은 성능을 보인다. 자기 개선 설정에서 PILOT은 GLM-5.1에서 14.6포인트, Kimi-K2.6에서 12.4포인트의 향상을 달성한다. 평균 출력 토큰은 각각 42.9%와 47.4% 감소하는 반면, 출력 토큰 백만 개당 성공적 평가 수는 각각 110.3%와 134.0% 증가한다.

제로샷 교차 작업 일반화, 즉 훈련 중에 본 적 없는 조작 작업을 정책이 실행해야 하는 문제는 로봇 학습의 핵심 과제로 남아 있다. 대규모 언어 모델에서는 매개변수 갱신 없이 맥락에서 새로운 작업을 지정하기만 해도 수행할 수 있다. 이러한 형태의 맥락 내 학습(ICL)은 일반화를 작업 지정의 문제로 전환한다. 교차 작업 일반화를 달성하기 위해 우리는 이 패러다임을 로봇 조작에 적용하며, 조작 작업의 자연스러운 지정 방식은 인간 비디오라고 주장한다. 언어와 달리 인간 비디오는 의도된 작업 진행에 대한 풍부한 시각적 단서를 제공한다. 우리는 맥락 내 인간 비디오 안내를 따라 미지의 작업을 실행하는 인과적 비디오-행동 모델인 Zero-WAM을 제시한다. 작업이 풍부한 인간-로봇 짝 데이터의 부족을 해결하기 위해, 작업 표본 로봇 궤적을 의미적으로 대응하는 인간 비디오로 변환하는 자동 파이프라인을 제안하며, 이를 통해 8.6K 작업에 걸쳐 74.2K 개의 인간-로봇 ICL 쌍으로 구성된 데이터셋 HumanGen을 구축한다. 모델 훈련을 위해, 우리는 추가로 기존 작업에서 학습된 지름길을 억제하고 정책이 비디오 프롬프트에서 작업 정보를 얻도록 강제하는 맥락 내 미래 청크 예측(IFP) 목적 함수를 도입한다. RoboTwin 2.0 시뮬레이션의 7가지 미지의 작업에서 Zero-WAM은 평균 성공률 47.0%를 달성하여, 가장 강력한 비디오-행동 기준 모델 대비 절대 29.5%포인트 향상되었다. 실제 환경 평가에서, Zero-WAM은 인간 비디오 안내를 따라 다중 객체 장면, 장기 조작, 정밀 삽입을 포함한 미지의 작업 구성으로 일반화한다.

진화 전략(ES)은 최근 LLM 추론을 위한 메모리 효율적인 사후 훈련 패러다임으로 부상했다. 그러나 ES의 최적화 동작은 충분히 연구되지 않아, 주류 사후 훈련 패러다임(예: 그룹 상대 정책 최적화(GRPO))과 비교하여 ES의 장점 범위를 정의하기 어렵다. 본 논문은 ES의 동역학과 메커니즘을 체계적으로 조사함으로써, 먼저 ES가 GRPO보다 성능상 이점을 가짐을 이론적·경험적으로 보여주며, ES가 더 넓은 추론 범위를 유도하여 사전 훈련된 LLM의 추론 능력을 더 잘 활용할 수 있음을 입증한다. 이론적으로, ES 모집단 전체의 검증기 투영 젠슨-샤논 다양성이 더 높은 Pass@K 성능에 기여함을 보인다. 경험적으로, 엔트로피 붕괴를 보이는 GRPO와 달리, ES는 Pass@1을 향상시키면서도 GRPO보다 높은 Pass@K를 달성한다. 또한 GRPO의 Pass@1 강점과 ES의 Pass@K 이점을 결합하는 순차적 GRPO-ES 훈련 전략을 개발한다. 둘째, 상당한 전체 모델 파라미터 드리프트에도 불구하고 ES의 작업 성능 향상은 더 큰 크기의 업데이트로 구성된 희소 부분집합에 의해서만 기여됨을 발견한다. 이러한 기능적 희소성은 큰 파라미터 이동이 광범위한 기능 변화를 의미할 필요가 없음을 시사하며, 홀드아웃 평가는 또한 이것이 반드시 파괴적 망각으로 이어지지 않음을 보여준다. 마지막으로, 하이퍼파라미터 설계가 ES의 효과성에 어떻게 영향을 미치는지 연구하여, ES가 더 큰 LLM에서 더 작은 모집단 크기를 요구함을 입증한다. 이러한 발견은 ES를 덜 효과적이고 메모리 효율적인 GRPO의 대안이 아닌, 별개의 추론 사후 훈련 패러다임으로 자리매김하게 한다.

에이전트 스킬 패키지는 전문 지식과 워크플로우를 재사용 가능한 자원으로 체계화하여 AI 에이전트의 역량을 확장한다. 최근 연구에서는 에이전트 경험으로부터 이러한 스킬을 자동으로 발견하는 방법이 제안되었으며, 이를 통해 에이전트가 상호작용을 통해 점진적으로 적응할 수 있게 되었다. 그러나 스킬 개발을 안내하는 통찰은 일반적으로 최적화 이력에 분산되어 남아 있어, 반복적 작업 간의 체계적 재사용이 제한적이다. 본 연구는 지속적 지식 베이스(위키)와 에이전트 스킬을 공동 진화시키는 프레임워크인 WikiSkill을 제안한다. 높은 수준에서 WikiSkill은 원시 실행 경험, 축적된 지식, 실행 가능한 스킬을 분리하면서, 경험을 지속적으로 위키로 통합하고 이후의 스킬 업데이트가 이를 기반으로 구축될 수 있게 한다. 다양한 벤치마크와 모델에 걸쳐 WikiSkill은 최첨단 스킬 진화 방법보다 일관되게 우수한 성능을 보였으며, 대부분의 모델-벤치마크 설정에서 스킬이 없는 기준선보다 개선된 결과를 나타냈다. 또한 스킬 진화는 모델 스케일링을 보완함을 발견하였다. 즉, 일반적으로 더 큰 모델일수록 진화된 스킬로부터 더 큰 이점을 얻는 반면, 스킬을 갖춘 더 작은 모델은 스킬이 없는 훨씬 더 큰 모델보다 우수한 성능을 발휘할 수 있다. 진화된 스킬은 모델 및 모델 계열 간에 효과적으로 전이되며, 다른 모델에 의해 진화된 스킬이 자기 진화된 스킬보다 우수할 수 있음을 확인하였다. 마지막으로, 절제 연구를 통해 위키에서의 지속적 지식 축적이 효과적인 스킬 진화에 중요함을 입증하였다. 이러한 결과는 재사용 가능하고 전이 가능한 스킬 개발을 위해 에이전트 경험을 체계적으로 축적하고 정제하는 것의 이점을 보여준다.

네이티브 3D 생성기는 이제 단일 이미지에서 인상적인 메시 지오메트리를 복원한다. 그러나 고밀도 메시는 가공된 물체가 날카로워야 할 부분에서 부드럽게 남아 있고, 부품 분해 정보를 포함하지 않으며, 사용자가 편집할 수 있는 매개변수도 제공하지 않는다. 이를 해결하기 위해 우리는 LLM의 코딩 능력을 활용하고 확장하여 3D 모델링을 수행하는 ‘형태를 코드로(shape as code)’ 패러다임을 탐구한다. 우리는 객체를 절차적 어셈블리, 즉 이름이 지정된 부품들이 유형화되고 기계적으로 검증 가능한 결합(mate)으로 연결된 매개변수화 프로그램으로 작성하는 새로운 3D 모델링 에이전트 프레임워크인 Procedura를 제안한다. 에이전트는 텍스트 프롬프트로부터 객체를 어셈블리 그래프로 계획하고 프로그램을 부품 단위로 작성한다. 이때 각 배치는 추측하지 않고 결합된 프레임(mated frame)으로부터 계산하여 해결하며, 컴파일, 결합, 연결성 검사를 모두 통과한 경우에만 부품을 채택한다. 이후 분리된 비전 비평가(critic)가 진단된 수정 사항을 하나씩 적용하여 어셈블리를 개선한다. 또한 동일한 그래프는 부품별 재질과 시뮬레이터로 검증된 관절(articulation) 정보를 담고 있다. 우리는 P3D-Bench의 어셈블리 평가자(judge)를 사용하여 평가하고, 동일한 평가자를 사용하여 자체 하드 서피스(hard-surface) 벤치마크인 MechBench-36에서도 평가한다. 두 벤치마크 모두에서 Procedura는 평가된 품질에 있어 최신 네이티브 3D 생성기와 이전의 모든 3D 코드 에이전트를 능가하며, 우리가 평가한 어떤 방법보다 날카로운 모서리를 생성하고, 출력이 편집 가능하고 부품 구조화된 프로그램인 유일한 방법이다.

현대 게임 개발은 기존의 그래픽 파이프라인에 크게 의존한다. 고품질의 시각적 콘텐츠를 제작하려면 모델링, 소재 저작, 애니메이션, 조명, 이펙트, 런타임 최적화가 필요하며, 이로 인해 에셋 제작 비용이 증가하고 게임 프로토타입의 개발 주기가 길어진다. 최근 비디오 파운데이션 모델이 영화 및 비디오 제작 방식을 변화시키기 시작했지만, 게임은 선형 미디어와 다르다. 게임은 연속적이고 사실적인 영상뿐만 아니라 안정적이고 재현 가능한 게임플레이 규칙, 객체 상태, 상호작용 결과를 요구한다. 본 논문에서는 인터랙티브 게임을 위한 실시간 생성형 월드 렌더링 시스템인 Magpie를 제안한다. Magpie는 게임플레이 실행과 시각적 생성을 분리한다. 디자이너는 게임 엔진에서 씬과 규칙을 정의한다. 런타임에서 게임 엔진은 플레이어의 행동을 해석하고 월드 상태를 유지하며, 독립적인 렌더 서버는 엔진이 생성한 화이트박스 프레임으로부터 시각적 출력을 생성한다. Magpie는 생성 모델을 실시간 게임 렌더링에 적용하기 위한 시스템 수준의 구현 경로를 제공한다. 이는 게임플레이의 설계 가능성과 재현성을 유지하면서 초기 게임 프로토타입이 완성된 시각적 에셋에 의존하는 정도를 줄인다.

대규모 비전-언어 모델(VLM)은 다양한 멀티모달 작업에서 놀라운 다재다능함을 보여주었다. 그러나 유머 이해는 여전히 어려운 과제로 남아 있는데, 이는 유머 콘텐츠가 종종 이미지와 텍스트 모달리티에 걸친 개체, 사건, 맥락, 그리고 암시적 관계들 사이의 미묘한 상호작용에 의존하기 때문이다. 이러한 상호작용은 기존의 프롬프팅이나 선형적 사고 사슬(chain-of-thought) 추론으로는 포착하기 어려운 복잡한 추론 사슬을 수반할 수 있다. 본 연구에서는 멀티모달 유머의 기저에 있는 인과적 및 맥락적 관계를 경량의 그래프 기반 추론 구조로 표현하는 추론 프레임워크인 CaRGo-T(Causal Reasoning Graph-of-Thought)를 제안한다. 이 그래프는 VLM이 생성한 코드 기반 표현으로 직렬화되며, 이후 동일하거나 다른 VLM이 이를 해석하여 제로샷(zero-shot) 또는 맥락 내 학습(in-context learning) 설정에서 최종 예측을 도출할 수 있다. 우리는 풍자(satire), 비꼼(sarcasm), 밈(memes)을 포함한 다양한 형태의 코미디 콘텐츠를 아우르는 네 개의 데이터셋에서 CaRGo-T를 유머 이해 및 유머 탐지 작업에 대해 평가한다. 최첨단 상용 및 오픈소스 VLM을 사용한 실험 결과, CaRGo-T는 기존의 추론 기반 기준선(baseline) 대비 일관된 성능 향상을 보여주었으며, 유머 이해에서 약 1-20%, 유머 탐지에서 약 1-3%의 향상을 달성했다. 상호 정보(mutual information)를 사용한 추가 분석은 CaRGo-T가 생성한 추론 표현이 기준선 추론 방식이 생성한 표현보다 목표 출력에 관련된 정보를 더 많이 포함하고 있음을 시사한다. 코드는 https://github.com/abhi1nandy2/CaRGo-T에서 이용할 수 있다.

재사용 가능한 스킬 라이브러리는 대규모 언어 모델(LLM) 에이전트가 여러 작업에 걸쳐 절차적 지식을 재사용할 수 있게 해 주지만, 동시에 메모리 접근을 까다로운 검색 문제로 만든다. 전체 라이브러리 프롬프팅은 높은 컨텍스트 비용을 치르면서 적용 범위를 보존하는 반면, 벡터 검색은 컴팩트한 이웃을 반환하지만 스킬을 독립적인 텍스트로 취급하며, 그래프 기반 검색은 관련성을 전달하는 엣지가 신뢰할 수 있을 때만 워크플로우 맥락을 복구할 수 있다. 우리는 검색 전에 절차적 관계를 보정하는 반사실적-인과적 스킬 그래프 프레임워크인 CaSKG를 제안한다. CaSKG는 먼저 의미적, 어휘적, 입출력 및 구조적 증거로부터 높은 재현율의 방향성 후보 그래프를 구축하며, 수리 증거와 선택적 LLM 판정자가 후보 점수를 추가로 정제한다. 그런 다음 방향 조건부 텍스트 반사실적 프로브를 적용하여 스킬 쌍을 제거, 대체 및 재배열하고, 베이지안 평활화를 통해 증거를 집계한 후, 작업 조건부 확장을 위한 상태 필터링된 가중 그래프를 산출한다. 이 그래프는 오프라인으로 구축되며 다운스트림 에이전트 정책이나 작업 인터페이스를 변경하지 않고 사용된다. ALFWorld ID-140 및 ScienceWorld U211에서 여섯 개의 LLM 백본에 걸쳐, CaSKG는 모델과 벤치마크의 12가지 조합 모두에서 최고 작업 점수를 달성한다. Graph-of-Skills(GoS)와 비교하여, 여섯 개 모델에 대한 매크로 평균 ScienceWorld 점수를 72.62에서 80.50으로, ALFWorld 성공률을 80.01\%에서 86.79\%로 개선하며, 두 벤치마크 모두에서 평균 환경 스텝 수를 줄인다. 또한 정성적 및 절제 분석은 보정된 엣지가 검색에서 전제 조건, 상태 변경 행동, 검증 루틴 및 최종 완료 단계를 보존하는 데 도움이 된다는 것을 보여준다. 이러한 결과는 엣지 신뢰도 보정을 대규모에서 컴팩트하고 실행 가능한 스킬 검색을 위한 효과적인 경로로 자리매김한다. 코드는 https://github.com/ZhiyuanLi218/Caskg 에서 확인할 수 있다.

추론 시간 스케일링의 최근 발전은 대규모 언어 모델(LLM)의 추론 성능을 크게 향상시켰습니다. 그러나 이러한 방법들은 일반적으로 반복 생성이나 외부 검증에 의존합니다. 이러한 한계를 해결하기 위해, 우리는 높은 효율을 유지하면서 추론을 개선하는 새로운 추론 시간 프레임워크인 CritICL을 소개합니다. 우리의 핵심 통찰은 LLM의 실패 모드가 동일 계열 내의 모델 규모에 걸쳐 구조화된 패턴을 나타낸다는 것입니다. CritICL은 실패를 바람직하지 않은 출력으로 취급하는 대신, 이를 지침의 원천으로 활용합니다. 구체적으로, 우리는 약한 모델에서 도출된 실패 모드를 활용하고, 이를 비평 기반 맥락 내 예제를 통해 추론에 통합합니다. 우리는 입력별 실패 모드를 적응적으로 예측하고 비평을 검색하는 CritICL-dynamic과 전역 실패 모드 프로파일을 사용하여 안정적인 지침을 제공하는 CritICL-static의 두 가지 변형을 제안합니다. 실험 결과, CritICL은 표준 맥락 내 학습을 일관되게 능가하며, 테스트 시간 스케일링 방법과 필적하거나 더 우수한 성능을 달성하면서도 현저히 적은 생성 횟수와 낮은 토큰 비용을 요구합니다. 코드는 https://github.com/umwyf/CRITICL에서 확인할 수 있습니다.

접촉이 많은 조작은 행동 지평 안에서 크게 변화할 수 있는 접촉 상태에 적응해야 한다. 그러나 청크 기반 비전-언어-행동 모델은 실행 전에 수집된 관측만으로 전체 행동 청크를 예측하므로, 실행 중에는 촉각 조건화가 낡은 상태로 남게 된다. 기존의 촉각 반응형 접근법은 일반적으로 별도의 고주파 제어기에 의존하며, 이는 구조적 및 훈련 복잡성을 증가시킨다. 본 논문에서는 실행 시점의 촉각 피드백을 효과적으로 통합하는 스트리밍 행동 생성 프레임워크인 TacForcing을 제안한다. TacForcing은 별도의 반응형 제어기를 사용하는 대신, 표준 행동 전문가를 스트리밍 행동 전문가로 대체하여 실행 중 획득되는 변화하는 촉각 관측에 조건화된 행동을 생성한다. 또한 TacForcing은 실행 인지 촉각 어텐션(EATA)을 도입하여 촉각 조건화를 실행에 가까운 행동으로 제한함으로써 촉각 획득과 행동 실행 사이의 시간적 불일치를 줄인다. TacForcing은 6가지 시뮬레이션 UniVTAC 작업과 3가지 실제 접촉이 많은 조작 작업에서 각각 평균 성공률 65%와 69%를 달성하여 두 설정 모두에서 강력한 기준선보다 우수한 성능을 보인다.

생성형 AI가 비디오 편집 분야를 크게 발전시켰지만, 기존 방법은 주로 단일 샷 또는 짧은 비디오 클립에 초점을 맞추고 있다. 여러 지시사항이 포함된 장편 비디오 편집은 여전히 난제로 남아 있다. 고정 길이 분할과 같은 단순한 청크 분할 전략은 종종 개체 단편화, 심각한 편집 환각, 시간적 연속성 붕괴를 초래한다. 이러한 격차를 해소하기 위해, 우리는 세 가지 핵심 목표를 중심으로 구조화된 다중 지시 다중 샷 장편 비디오 편집(MMLVE) 작업을 소개한다: 크로스 샷 편집 일관성(CSEC), 다중 지시 디커플링(MID), 시공간 구조 무손상(ZDSS). 이러한 세 가지 고유한 과제를 해결하기 위해, 우리는 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)의 시너지를 활용하여 샷 수준 비디오 디커플링과 정밀한 지시 파싱을 달성하는 에이전트 기반 편집 프레임워크를 도입한다. 또한, 이 작업을 종합적으로 평가하기 위해 복잡한 실제 시공간 역학, 고밀도 이질적 지시, 희소하고 무작위적인 개체 분포를 특징으로 하는 MMLVE 중심 데이터셋인 MMLVE-Bench를 구축한다. 편집 결과의 품질을 평가하기 위해 세 가지 MMLVE 중심 평가 지표를 추가로 활용한다. 광범위한 실험을 통해 우리의 MMLVE-Agent가 Seedance 2.0과 같은 기존 폐쇄 소스 최고 수준(SOTA) 접근 방식을 능가하며, 편집 환각을 성공적으로 제거하고 크로스 샷 편집 일관성을 유지하며 매끄러운 시공간 전환을 달성함을 입증한다.

명시적 시각 중간물은 멀티모달 대규모 언어 모델(MLLM)이 공간적 증거와 갱신된 시각 상태를 외부화하도록 도울 수 있지만, 그 유용성은 이미지 편집기가 요구된 변환을 충실히 구현할 수 있는지에 달려 있다. 본 연구는 MLLM → 이미지 편집기 → MLLM 파이프라인을 위한 자동화된 과업 발견 및 폐루프 진단 프레임워크인 Aphanta를 소개한다. Aphanta는 세 가지 조건—직접 추론, 편집기 생성 중간물을 사용한 추론, 이상화된 참조 중간물을 사용한 추론—을 평가하여 잠재적 시각적 개선 여지와 현재 편집기의 실질적 유용성을 분리한다. 20개 후보 과업과 다양한 편집기–MLLM 조합에 걸쳐, 유용성은 과업 조건에 크게 의존함을 발견했다. 이득은 시각적 단서 주입, 접지, 반사실적 상태 구현에 집중된 반면, 기호에 민감한 구성이나 구조적 외삽을 요구하는 중간물은 훨씬 덜 신뢰할 수 있었다. 선정된 긍정적 과업 부분집합에서, 통합된 Qwen 파이프라인은 평균 과업 점수를 0.343에서 0.445로 향상시켰으며(+10.2점, +29.7% 상대적), 전체 연구는 경계를 드러내기 위해 필터링된 과업과 실패한 과업도 함께 유지한다. 이러한 결과는 이미지 편집을 보편적 추론 메커니즘이라기보다 전문화된 시각적 작업 공간으로 위치시키며, Aphanta를 과업-표상 정렬, 편집기 구현, 하류 파이프라인 유용성을 측정하는 재사용 가능한 프로토콜로 확립한다.

평가 산출물(evaluation artifacts)은 작업(task), 스코어러(scorer), 보고된 지표(metric)라는 순방향 계산을 명세한다. 그러나 해당 지표에 부착된 주장이 반드시 정당화되는 것은 아니다. 그 주장을 재현하는 데 필요한 역사적 증거와 대안적 의미론이 결합되지 않을 수 있기 때문이다. 본 연구는 이러한 결여된 주장-재현 계층(claim-replay layer)을 고정된 기반 D(frozen substrate), 근거 기반 계열 F(grounded family), 주장 질의 q(claim query), 그리고 그 결과로 도출되는 식별 집합(identified set)을 통해 형식화한다. 이후 고정된 커밋(pinned commit) 시점의 기계적으로 적격한 124개의 Inspect Evals 단위를 전수 조사한다. 각 단위는 종착 상태(terminal disposition)를 부여받으며, 110개는 필수 역사적 증거나 의미적 근거 부여가 불가능하여 결정적 추론 이전에 중단된다. 실행이 종결되는 경우, 정확한 값, 승자, 완전한 순서, 쌍별 관계는 주장 해소(claim resolution) 및 1차(primary) 대 검토(review) 계열에 따라 구분된다. 따라서 본 감사는 단일 평가자 의미나 단일 견고/비견고 라벨을 강제하는 대신, 유형화된 중단(typed stops), 불안정성 증인(instability witnesses), 안정적 하위 구조(stable substructure)를 반환한다.

기존 비디오 편집은 주로 장면 수준의 콘텐츠에 초점을 맞추는 반면, 라이브 스트리밍은 인간 피사체에 더 큰 중점을 둔다. 그러나 기존 비디오 편집 방법을 인간 중심의 라이브 스트리밍에 직접 적용하는 것은 여전히 어려운데, 이는 얼굴 표정 불일치를 초래할 수 있고 일반적으로 여러 번의 오프라인 추론 단계에 의존하여 실시간 상호작용에 적합하지 않기 때문이다. 본 논문에서는 실시간 스트리밍 캐릭터 비디오 편집을 위한 새로운 프레임워크인 EditaLive를 제안한다. 구체적으로, 외관과 모션을 자연스럽게 분리하는 사전 학습된 이미지 애니메이션 모델(Wan-Animate)을 기반으로 하여, 수집된 CharEdit-50K 데이터셋을 통해 참조 프레임 편집과 비디오 재구성을 수행함으로써 이를 지시 기반 인간 중심 비디오 편집을 위한 기본 모델로 재활용한다. 또한, 오프라인 양방향 모델을 인과적 스트리밍 생성 방식으로 변환하고, 모델을 2단계 샘플러로 압축하는 정렬된 자기 롤아웃 증류 전략을 설계한다. 이때 고정 RoPE와 정렬 강제(align forcing)는 학습-추론 간 불일치를 줄이며, 첫 프레임 보존 희소 어텐션은 중복된 과거 정보를 필터링하여 외관 드리프트를 완화한다. 광범위한 실험을 통해 EditaLive가 얼굴 표정의 충실한 보존과 저지연 실시간 스트리밍 추론을 제공하면서 최첨단 편집 성능을 달성함을 입증한다.