일간 논문

재귀적 자기 개선(RSI)은 AI 시스템이 자신의 역량을 관찰하고 그 증거를 다음 학습 라운드로 전환하는 구체적인 메커니즘을 필요로 한다. 우리는 에이전트 후속 학습을 통해 이 경로를 탐구하기 위해 개발된 에이전트 네이티브 모델 계열인 NeoHorse-1을 제시한다. 우리의 시스템은 지능형 라우팅을 갖춘 이종 모델 풀을 결합하여 각 사용자 턴마다 예측된 역량 수요, 선택된 서비스 계층, 후속 상호작용을 기록한다. 이 기록들은 인터리브된 추론, 도구 호출, 하네스 컨텍스트를 보존하는 학습 예시로 변환되며, 구조 검증, 6차원 의미 평가, 서브씬 수준 라벨링을 통해 승인된다. 라우팅 신호는 지도 미세 조정을 3단계 커리큘럼으로 조직하고, 동일한 진행 과정에서 교사가 학생 생성 응답을 감독하는 라우팅 유도 온폴리시 증류로 확장된다. 이어서 역량 유도 할당은 평가 피드백을 다음 학습 혼합으로 변환함으로써, 시스템이 수행하도록 배우는 것이 다음에 무엇으로부터 배울지를 형성하는 평가-선택-업데이트 루프를 닫는다. 하네스 기반 에이전트, 도구 사용, 코딩, 지시 수행을 포괄하는 11개 벤치마크 전반에서, 후속 학습은 4B에서 매크로 평균을 58.94에서 64.87로, 9B에서 65.60에서 69.04로 상승시켜, 후속 학습된 4B 모델과 9B 기본 모델 간의 총체적 격차를 상당히 좁힌다. NeoHorse-1은 이러한 피드백 기반 과정의 초기 프로토타입과 연속적인 반복에 걸친 하네스 매개 RSI를 향한 경로를 제공한다.

우리는 자연어 지시문과 오디오 컨텍스트의 공통 인터페이스를 통해 음성 생성과 편집을 통합하는 오픈소스 파운데이션 모델 AuK를 소개한다. 이러한 광범위한 기능 집합을 지원하기 위해, 우리는 음성 생성, 내용 편집, 향상 및 분리, 준언어적 편집, 음향적 편집의 다섯 가지 과제군에 걸쳐 약 30억 3천만 개의 지시문-오디오 인스턴스와 195만 시간의 효과적인 지도를 구축한다. AuK는 의미적 조건화를 위한 멀티모달 대규모 언어 모델, 음향적 조건화를 위해 음성, 일반 오디오, 음악에 공동으로 훈련된 VAE, 그리고 생성을 위해 이중 스트림 MMDiT 블록을 수행한 뒤 통합 단일 스트림 DiT 블록을 수행하는 하이브리드 rectified-flow Transformer를 결합한다. 훈련은 생성 전용 워밍업으로 시작하여 생성-편집 공동 사전 훈련으로 진행된다. 그런 다음 우리는 개방형 편집을 위한 인간 피드백 선호도 최적화와 음성 생성을 위한 보상 기반 강화 학습이라는 상호 보완적인 사후 훈련 전략을 적용한다. 추론 비용을 줄이기 위해, 우리는 일관성 초기화와 작업 라우팅된 Decoupled DMD로 모델을 추가로 증류한다. 그 결과로 얻어진 AuK-Flash는 classifier-free guidance 없이 4단계 추론을 수행하며, 동일 조건에서 전체 모델 대비 4.5배의 월클록 속도 향상을 달성한다. 실험은 제로샷 및 지시 제어 음성 생성과 일반 지시 기반 편집에서 선도적인 성능을 입증하는 한편, 신호 수준 복원 과제에서는 경쟁력 있는 성능을 유지한다. 우리는 재현성과 후속 연구를 지원하기 위해 소스 코드와 모델 가중치를 모두 공개한다.

본 연구에서 우리는 옴니 지각, 실시간 상호작용, 에이전트 능력을 단일 프레임워크로 통합한 엔드투엔드 모델인 Gander를 제안한다. 턴 기반의 전통적 패러다임과 달리, Gander는 비디오, 음성, 텍스트를 포함한 여러 모달리티에 걸쳐 스트리밍 입력을 지속적으로 수신하여 일상 대화와 복잡한 워크플로 지향 에이전트 시나리오 모두에서 자연스러운 전이중 상호작용을 가능하게 한다. 사용자는 언제든지 모델을 중단시킬 수 있으며, 모델은 또한 능동적으로 중간 피드백을 제공하거나 후속 질문을 할 수 있다. 이러한 능력을 기본적으로 지원하기 위해 Gander는 두 가지 핵심 아키텍처 설계를 채택한다. 1) Gander는 Cerebellum-Brain 협업 프레임워크를 사용하며, 여기서 Cerebellum은 실시간 상호작용과 옴니 대화 능력을 담당하고 Brain은 복잡한 추론과 상위 수준의 에이전트 작업을 처리한다. 두 구성 요소는 도구 호출과 에이전트 오케스트레이션 런타임을 통해 지속적으로 상호작용한다. 2) Cerebellum은 스트리밍 Thinker-Talker 아키텍처에 기반하며, 사용자 입력과 모델 출력은 청크 수준에서 순서가 있는 토큰 스트림으로 추가로 평탄화되어 낮은 지연 시간과 연속적 상호작용을 위한 통합 표현을 제공한다. 우리는 대화 능력, 옴니 이해, 상호작용 능력, 에이전트 지능의 네 가지 차원에 걸쳐 Gander를 포괄적으로 평가한다. 내부 인간 평가는 Gander가 SOTA 오픈 소스 모델의 자연스럽고 표현력 있는 음성 대화 능력을 유지하면서 옴니 상호작용에서 경쟁력 있는 성능을 달성함을 보여준다. Gander는 또한 배경 잡음 간섭, 다자간 상호작용, 백채널 커뮤니케이션을 포함한 어려운 실제 시나리오에서 강건성을 입증한다. 우리는 커뮤니티의 추가 연구와 개발을 촉진하기 위해 Gander를 모델, 코드, 데이터와 함께 공개한다.

약-강 일반화는 더 강한 모델이 더 약한 감독자로부터 학습하여 그들을 능가할 수 있는지 묻는다. 이 질문은 프런티어 규모의 사후 학습을 처음부터 반복하는 것이 감당하기 어려울 정도로 비쌀 수 있는 연속적 모델 세대와 다중 도메인 통합에서 특히 중요하다. 그러나 기존 증류는 약한 교사를 최적화 목표로 취급하여, 잠재적으로 학생에게 교사의 용량 상한을 부과한다. 우리는 온-폴리시 역증류(On-Policy Reverse Distillation, OPRD)를 소개한다. 이는 학생 롤아웃에서 교사의 정책이 참조 정책에 대해 얼마나 이동했는지를 평가하고, 학생의 검증기 기반 정책 그래디언트 중 그 방향에 해당하는 성분을 증폭한다. 검증기가 뒷받침하는 업데이트만 재스케일링함으로써, OPRD는 정책 최적화의 정류점을 보존하면서 교사를 넘어서는 학습을 가속화한다. 연속적 모델 전이와 다중 교사 증류 모두에서 OPRD는 기존 RL 및 증류 접근법보다 더 적은 학생 업데이트로 더 높은 성능을 달성한다. 응답 스타일 분석은 OPRD 학생들이 약한 교사보다 검증기 기반 RL만으로 학습된 모델에 더 가깝게 남아 있음을 보여주며, 이는 교사의 지도가 학생 자체의 최적화를 다른 방향으로 전환하기보다 가속화함을 시사한다. 기존 강-약 증류에서의 결과는 OPRD가 용량 순서와 관계없이 검증기 기반 정책 최적화와 교사 지도를 효과적으로 결합함을 추가로 입증한다.

대부분의 종단간 자율주행 시스템은 인간 주행 로그를 모방하여 학습하므로, 학습된 행동이 기록된 궤적의 품질과 행동 커버리지에 의해 제약된다. 본 보고서는 인간 시연을 넘어서는 주행 행동을 학습하는 종단간 시스템인 DriveZero를 제시한다. 이는 주행을 인지 모델과 행동 모델로 분해하고, 각각에 가장 적합한 학습 체제에서 사전학습한 뒤, 이를 하나의 종단간 플래너로 결합한다. 두 모델은 서로 다른 학습 레시피를 요구한다. 인지 모델은 세계를 이해해야 하므로 방대하고 다양한 시각 데이터로부터 이점을 얻고, 행동 모델은 세계와 상호작용해야 하므로 폐루프 피드백을 필요로 한다. 행동 측면에서 우리는 혼합 에이전트 폐루프 강화학습 프레임워크인 DriveRL을 소개한다. 이는 실제 주행 로그를 상호작용 가능한 세계로 변환하고, 그 안에서 특권 교사 정책을 폐루프 롤아웃을 통해 PPO로 학습한다. 인지 모델의 경우, DriveVFM은 DINOv3, SigLIP2, SAM, Depth Anything V2를 포함한 여러 동결된 비전 파운데이션 모델을 원시 이미지만으로 단일 백본으로 통합하며, 작업별 주석을 필요로 하지 않는다. 그런 다음 DriveZero는 이 둘을 통합한다. 즉, 동결된 DriveRL 교사를 롤아웃된 궤적을 통해 증류하는 카메라 전용 플래너이다. 목표 조건부 교사는 더욱이 증강된 주행 의도 하에서 질의될 수 있으며, 이는 로그 데이터가 제공할 수 없는 다양하고 목표 일관적인 감독을 산출한다. nuPlan에서 가치 기반 테스트 시점 행동 탐색을 사용하는 DriveRL은 비반응형 및 반응형 모드 모두에서 Val14, Test14-hard, Test14-random 커뮤니티 분할 전반에 걸쳐 평균 점수 93.57을 달성하며, 세 분할 모두에서 Log-Replay 전문가를 능가한다. DriveZero는 인간 궤적 감독 없이 NAVSIMv1, NAVSIMv2 및 폐루프 HUGSIM 벤치마크에서 최첨단 성능을 달성한다.

월드-액션 모델은 비디오 생성 사전으로부터 월드 지식을 계승하고, 이를 체화된 경험을 통해 실행 가능한 제어 신호로 전환한다. 그러나 기존 시스템은 모놀리식하여, 생성 백본, 시각적 표현, 아키텍처, 정보 흐름, 추론 절차, 학습 데이터가 긴밀하게 결합되어 있어 어떤 설계 선택이 중요하고 그 이유가 무엇인지 불분명하게 만든다. 우리는 월드-액션 사전학습을 통제된 실험 프로그램으로 전환하는 개방형 연구 스택인 OpenWAM을 제안한다. OpenWAM-Infra는 WAM 설계 공간을 통합된 학습, 추론, 배포, 평가를 갖춘 조합 가능한 모듈로 분해한다. 이 기반 위에서 OpenWAM-Study는 통제된 실험을 통해 무엇을 계승할지, 월드 학습과 행동 학습이 어떻게 상호작용하는지, 그리고 이들의 시너지가 어떻게 확장되는지라는 세 가지 질문을 검토하고, 세 가지 원리를 도출한다: 업스트림 지식은 충분히 강력한 생성 백본과 컴팩트하고 정보가 풍부한 잠재 공간을 통해 전이된다; 월드-액션 시너지는 전용 행동 용량, 월드에서 행동으로의 명시적 정보 흐름, 동기화된 공동 디노이징을 요구한다; 그리고 체화 사전학습은 주로 도메인 외 일반화를 향상시키며, 에고센트릭 인간 및 로봇 데이터에 대한 단일 단계 공동 학습은 월드 커버리지와 행동 그라운딩을 통합한다. 이러한 원리를 구성하여, 우리는 약 6,400시간 분량의 에고센트릭 인간 및 로봇 데이터로 사전학습되고 시뮬레이션 및 실제 세계 벤치마크 전반에서 평가된 개방형 WAM인 OpenWAM-α를 구축한다. 단일 팔 및 양팔 조작에서 정교한 로봇 손에 이르기까지 구현체를 함께 아우르는 8개의 시뮬레이션 벤치마크와 실제 로봇 실험 전반에서, OpenWAM-α는 일관되게 뛰어난 성능을 제공하며 시뮬레이션에서 물리적 세계에 이르기까지 최상위 위치를 유지한다. 우리는 향후 연구를 촉진하기 위해 인프라, 평가 프로토콜, 사전학습 모델, 데이터 레시피를 포함한 전체 스택을 공개한다.

월드-액션 모델(WAM)은 미래 상태를 예측하여 로봇 행동을 안내하며, 행동이 없는 비디오와 행동 레이블이 있는 상호작용 모두로부터 학습할 수 있게 한다. 대부분은 사전학습된 비디오 생성기를 계승하므로, WAM의 사전학습과 스케일링은 충분히 탐구되지 않은 채로 남아 있다. 우리는 학습 가능한 생성 및 행동 구성요소가 모두 매니퓰레이션 데이터에서 처음부터 초기화되는 월드-액션 모델인 Genie Envisioner Act 2.0(GE-Act 2.0)을 소개한다. 이는 제어 지향 오토인코더(CoAE), 단일 스텝 시각 플래너(SVP), 역동역학 모델(IDM)을 결합한다. CoAE는 강한 압축 하에서도 행동 및 지시 관련 정보를 보존하는 반면, SVP는 미분 가능한 단일 패스로 완전한 미래 상태를 생성하므로, 시각 플래닝과 역동역학은 상보적 데이터에서 별도로 사전학습될 수 있다. 이후 구성요소들은 지식 정렬 선택적 최적화(KASO)를 통해 공동 학습되는데, 이는 기록된 행동과 행동적으로 양립한다고 판단된 예측 미래만을 선택함으로써 감독 불일치를 줄인다. 우리는 홀드아웃 장면, 배경, 조명, 객체 인스턴스를 사용한 20개 매니퓰레이션 기술 그룹 전반의 100개 작업에서 작업별 미세 조정 없이 사전학습된 체크포인트를 직접 평가한다. 공동 학습 데이터를 300시간에서 30,000시간으로 스케일링하면 G1-OP에서 성공률이 17.1%에서 44.1%로, G2-90D에서 13.4%에서 31.1%로 향상된다. G2-90D는 공동 학습 데이터의 2% 미만을 차지함에도 17.7점 향상되어 교차 엠바디먼트 전이를 시사한다. 성능 향상은 19/20 및 18/20 기술 그룹에 걸쳐 나타났으며, 기술별 커버리지는 제로샷 분포 외(OOD) 성공률과 강한 상관관계를 보였다(Pearson r=0.80; Spearman rho=0.85). 동일한 프로토콜에서 이 모델은 최소 90%의 시행에서 객체, 색상, 모양, 위치 참조를 그라운딩하며, 이미 확정된 행동이나 관습적인 장면 연상과 충돌하는 경우에도 명시적 지시를 따른다.

우리는 프런티어급 포스트 트레이닝을 위한 풀스택 프로덕션 레디 시스템인 Miles v0.1을 제시한다. slime의 깔끔한 설계를 바탕으로, Miles는 강화학습(RL) 훈련 루프의 각 단계를 하나의 원칙, 즉 구성 요소는 검증되어야 하고, 깔끔해야 하며, 사용자 정의가 가능해야 한다는 원칙에 따라 설계한다. 정확도, 효율성, 신뢰성, 확장성을 최우선 목표로 삼아, Miles는 연구자와 기업 모두가 프런티어 규모의 RL에 접근할 수 있도록 하는 것을 목표로 한다. 본 보고서는 시스템 전반을 처음부터 끝까지 살펴본다: SGLang 기반으로 구축된 롤아웃 엔진, 두 가지 백엔드(NVIDIA Megatron-LM 및 PyTorch FSDP) 중 선택할 수 있는 트레이너, 그리고 서로 다른 배포 토폴로지를 위한 세 가지 가중치 동기화 전송 방식이다. 전체 파라미터 RL을 넘어, Miles는 LoRA RL, 온폴리시 증류, 지도 미세조정, true-on-policy 롤아웃-트레이닝 정렬도 지원하며, 동일한 아키텍처를 확산 모델로 확장한다. 끝으로 종단 간 사례 연구를 제시한다: GLM-5.2 744B-A40B 모델에서 터미널 사용 코딩 작업에 대한 완전 비동기 에이전트형 RL을 64개의 NVIDIA GB300 GPU에서 실행했으며, 측정된 첫 30개 스텝 동안 중앙값 스텝 시간은 263초였다. Miles는 https://github.com/radixark/miles에서 오픈소스로 공개되어 있으며, 프로젝트 웹사이트는 https://miles.radixark.com이다.

단안 깊이 추정은 어디에나 적용되는 동시에 고도로 ill-posed한 컴퓨터 비전 과제로, 장면 재구성, 계산 사진학, 로보틱스 등에 하위 응용된다. 이 분야가 성숙했음에도 불구하고, 최근 모델들은 여전히 분포 외(out-of-distribution) 입력에 일반화하고 선명하고 세밀한 깊이 맵을 생성하는 데 어려움을 겪는다. 본 논문에서 우리는 확산 트랜스포머(DiT) 아키텍처로 구동되는 현대 이미지 생성 및 편집 모델을 최첨단 단안 깊이 추정기로 재활용하기 위한 일련의 기법인 Marigold를 다시 살펴본다. 우리의 레시피는 사전 학습된 다단계 흐름 매칭(flow-matching) 모델로부터의 단일 단계 추론을 목표로 하며, 필요할 경우 양자화를 적용하여 모델 용량을 보존하면서도 실행 비용을 낮게 유지한다. 우리는 단순 학습(naive training)의 아티팩트를 분석하고 두 가지 효과적인 해결책을 확인한다: 모델의 내부 표현을 정답(ground-truth)에서 추출한 의미 특징과 정렬하는 것, 그리고 새로운 Sinkhorn 기반 손실을 중심으로 구성된 2단계 미세 조정 프로토콜을 채택하는 것이다. 그 결과, KITTI 및 ETH3D에서 이전 최고 성능 대비 AbsRel이 16-26% 향상되면서 분포 외에서도 잘 일반화되는 더 선명하고 깔끔한 깊이 맵이 얻어진다. 정성적으로, 우리 모델은 기존 모델들이 포착하지 못했던 털, 잎사귀, 머리카락처럼 얇은 경계를 해결한다. 나아가, Marigold V2는 표면 법선 추정 및 고유 이미지 분해와 같은 다른 조밀 회귀 과제에 적용될 때 최첨단 결과를 달성한다. 프로젝트 웹사이트: https://hf.co/spaces/huawei-bayerlab/marigold-v2-web

자기회귀(AR) 비디오 확산 모델은 실시간 비디오 생성에서 큰 잠재력을 보여 왔다. 최근 방법들은 사전 학습된 양방향 비디오 확산 모델을 분포 매칭 증류(DMD)를 통해 인과적 AR 학생 모델로 증류하지만, 생성된 비디오는 종종 과포화 및 과평활화 문제를 겪어 제한된 시각적 품질과 사실감을 보인다. 주요 원인은 DMD에서 역 KL 목적 함수의 모드 추구(mode-seeking) 동작으로, 이는 학생 분포가 교사 분포의 소수 모드에만 붕괴되도록 할 수 있다. 이를 해결하기 위해, 우리는 AR 학생의 자기 롤아웃을 교란하여 역-KL 모드 추구로 인한 모드 붕괴를 완화하는 이중 노이즈 마스킹 롤아웃(Dual-Noise Masking Rollout) 전략인 Mask Forcing을 제안한다. 핵심 아이디어는 AR 확산 증류의 자기 롤아웃 과정에서 공간 및 시간 축을 따른 무작위 마스크를 통해 잡음이 있는 롤아웃 입력에 더 깨끗한 신호를 주입하는 것이다. 이러한 교란은 학생 롤아웃이 교사 분포의 더 많은 영역을 탐색하도록 장려하여, DMD가 학생이 이미 커버한 모드 너머의 학습 신호를 제공할 수 있게 한다. 게다가, 더 깨끗한 토큰은 다른 더 잡음이 많은 토큰에 대한 노이즈 제거 지침으로 작용하여 중간 롤아웃 예측을 개선하고 오류 누적을 줄인다. 광범위한 실험은 우리 방법이 실제 비디오 데이터나 추가적인 후학습 단계를 포함하지 않고도 여러 AR 비디오 확산 증류 방법을 더 높은 시각적 품질로 효율적으로 개선함을 입증한다.

다양하고 시뮬레이션 가능한 실내 장면은 대화형 엔터테인먼트와 체화된 AI에 필수적이지만, 확장 가능한 생성은 여전히 어려운 과제이다. 비전-언어 모델(VLM)에 의존하는 최근의 에이전트 기반 텍스트-투-3D 장면 파이프라인은 고충실도의 장면을 생성할 수 있지만, 비용이 많이 드는 반복적인 객체 배치와 개선이 필요하다. 또 다른 주류 패러다임인 파라메트릭 이미지-투-3D 장면 모델은 2D 이미지로부터 학습된 강력한 사전 지식을 바탕으로 효율적으로 장면을 생성하지만, 종종 부정확하고 물리적으로 타당하지 않은 장면을 만들어낸다. 더욱이, 두 패러다임 모두 단일 입력에 대해 다양한 장면을 출력하는 데 어려움을 겪어, 실제 장면의 동적으로 변화하는 특성을 반영하기 어렵다. 본 논문에서 우리는 두 패러다임의 장점을 결합한 프레임워크인 SceneMosaic를 제안한다. 이는 학습된 이미지 기반 사전 지식으로부터 초기 후보를 얻고, 이후 VLM 에이전트를 통해 결과를 진화시켜 효율성과 물리적 타당성을 모두 보장한다. 진화 과정에서 SceneMosaic는 자연 장면의 국소성을 활용하여 장면을 독립적인 로컬 단위로 분해하고, 각 단위 내에서 개별적인 진화를 허용한 후 데카르트 곱을 통해 전역 장면을 구성한다. SceneEval-100에서 SceneMosaic는 의미론적 레이아웃 품질에서 가장 강력한 에이전트 기반 베이스라인과 대등하면서 24배의 속도 향상을 달성하고, 물리적 위반을 상당히 감소시키며, 가장 높은 인간 평가를 받는다. 우리의 코드는 https://github.com/rxjfighting/SceneMosaic에서 공개적으로 이용 가능하다.

대규모 추론 모델(LRM)은 확장된 사고 연쇄(CoT) 생성을 통해 뛰어난 문제 해결 능력을 달성하지만, 그 결과 발생하는 키-값(KV) 캐시는 시퀀스 길이에 따라 선형적으로 증가하여 심각한 메모리 병목을 초래하며, 긴 추론 추적에서는 종종 GPU 용량을 초과한다. 기존 KV 캐시 압축 방법들은 미래 토큰 중요도를 추정하기 위해 최근 쿼리에 의존하며, 이러한 쿼리가 미래 어텐션 패턴에 대한 신뢰할 수 있는 대리 지표로 작용한다고 암묵적으로 가정한다. 우리는 이러한 가정이 장기적 추론에서 실패함을 입증한다. 특정 디코딩 단계에서는 추론 추적 초기에 수립된 문제 해결 계획과 같이 멀리 떨어진 이전 문맥을 다시 어텐션하는 사고 재방문 토큰(TRT)이 생성된다. 체계적 분석을 통해 우리는 TRT에 대응하는 쿼리들이 임베딩 공간에서 소수의 유사도 그룹으로 군집화된다는 점을 발견한다. 이러한 통찰에 기반하여, 우리는 전체 쿼리 이력을 저장하지 않고 어떤 KV 쌍이 재방문될지 예측하기 위해 각 전역 쿼리 클러스터에 대한 간결한 대표자인 비콘 쿼리를 유지하는, 학습이 필요 없는 KV 캐시 압축 방법인 BeaconKV를 제안한다. 네 가지 오픈소스 LRM과 다양한 추론 벤치마크 전반에서 BeaconKV는 일반적으로 기존 압축 방법들을 능가하며, 전체 캐시 정확도를 거의 유지하면서 최대 5.8배의 메모리 절감을 달성하고 처리량을 4.3배 이상 향상시킨다.

잠재 시각 추론은 명시적 텍스트 사고 연쇄가 아니라 은닉 상태 계산을 통해 멀티모달 추론을 수행하는 것을 목표로 한다. 그러나 시각 정보가 잠재 상태에 존재한다고 해서, 특히 대안적인 이미지 조건화 경로가 여전히 사용 가능할 때, 모델이 답을 생성할 때 실제로 그 상태에 의존한다는 것을 의미하지는 않는다. 우리는 CVRR(인과적 시각 순환 추론)을 제안한다. 이는 사전학습된 시각 능력을 보존하면서 순환 계산을 예측에 이르는 필수 이미지 조건화 경로로 만든다. CVRR은 사전학습된 시각-언어 모델이 이미지를 통합한 후 질문 은닉 상태에서 순환을 초기화하고, 동일한 고정 시각 증거를 반복적으로 다시 읽으면서 이 상태를 반복적으로 갱신한다. 디코딩 전에 시각 상태와 원래의 멀티모달 KV 캐시를 제거하여, 최종 순환 상태만이 이미지 조건화 정보를 답으로 전달하도록 한다. V^*, MMVP, BLINK, MME-RealWorld-Lite 벤치마크 전반에서 CVRR은 이러한 엄격한 인터페이스 아래에서도 강력한 성능을 유지하는 반면, 호환 가능한 잠재 추론기들은 동일한 제약 아래에서 재학습되어도 이에 필적하는 시각 능력을 회복하지 못한다. 인과 개입은 또한 질문을 고정했을 때 예측이 순환 내용에 민감하게 유지되며, 지속적인 시각 증거가 순환 궤적을 인과적으로 수정한다는 것을 보여준다. 이러한 결과는 잠재 정보성과 실제로 예측에 사용되는 잠재 계산을 구분한다.

대규모 언어 모델(LLM)이 정렬에 민감한 맥락에서 점점 더 많이 배포됨에 따라, 활성화 스티어링은 행동 제어를 위한 미세조정 방법(예: RLHF, DPO)의 경량 추론 시점 대안으로 부상했다. 그러나 기존 연구는 일반적으로 고립된 행동들에 대해 스티어링을 검증하므로, 스티어링 벡터가 일관된 의미 구조를 인코딩하는지 아니면 단지 행동 특화 단축 경로를 활용하는지 불분명하게 남아 있다. 우리는 LLM 스티어링 벡터의 잠재 기하학이 인간 가치와 도덕성에서 이론이 명시한 구조를 반영하는지 조사한다. 주요 세분화 프레임워크로 슈바르츠의 기본 인간 가치 이론을 사용하여, 20개 인간 가치를 포괄하는 26K 샘플 벤치마크를 도입하고 분포 기반 방법(예: CAA, SphericalSteer, ODESteer)과 행동 중심 접근법(예: COLD-Steer, BiPO)을 다양한 모델 계열과 크기에 걸쳐 분석한다. 우리는 분포 기반 방법이 이론적 예측과 부합하는 인간 가치 토폴로지를 복원함을 발견한다(스피어만 ρ 최대 0.51, p < 10^{-13}). 대조적으로, 행동 중심 방법은 비슷한 수준의 스티어링 성능을 달성하지만 기대되는 가치 기하학과는 거의 상관관계를 보이지 않는다. 기하학적 충실도는 모델 규모가 커짐에 따라 향상되지만 인스트럭션 튜닝 이후에는 하락한다. 마지막으로, 더 나은 기하학적 정렬은 가치 전반에 걸쳐 더 인간과 일관된 전이를 이끌어낸다: 한 가치를 올바르게 스티어링하면 양립 가능한 가치를 높이고 반대되는 가치를 억제한다. 코드와 데이터는 https://github.com/DeepRCL/Steering_Geometry에서 이용 가능하다.

선형 어텐션은 효율적인 장문맥 추론과 상수 메모리 디코딩을 위해 최첨단 언어 모델에서 점점 더 많이 사용되고 있다. 그러나 고정 크기 순환 메모리는 각 토큰마다 온라인 결정을 요구한다: 미래의 질의가 어떤 정보를 필요로 할지 알기 전에 무엇을 기록할지, 기존 연상을 얼마나 강하게 덮어쓸지 말이다. 델타 규칙 모델은 이 강도를 현재 토큰 임베딩으로부터 학습하지만 메모리 추정에 대한 신뢰도를 추적하지 않아, 각 쓰기가 축적된 증거에 적응하는 것을 막는다. 이러한 불확실성을 명시적으로 표현하기 위해 우리는 순환 연상 메모리를 칼만 필터가 최적의 재귀 추정기인 선형-가우시안 상태공간 모델로 재정식화하고, 새로운 모델 계열인 칼만 델타 네트워크(Kalman Delta Networks, KDN)를 도입한다. KDN에서 전이는 메모리 상태와 그 불확실성을 모두 전파하여, 칼만 이득이 각 잔차 쓰기를 축적된 증거와 관측 신뢰도에 따라 가중하도록 한다. 이 정식화 아래에서 델타 스타일 업데이트는 예측 공분산에 대한 토큰별 등방성 대체물을 대입하고 공분산 추적을 생략하는 특수 사례로 나타난다. 그러나 정확한 추적은 GPU 병렬 선형 어텐션 스캔에 적합하지 않은 조밀한 상태 의존적 리카티 재귀를 수반한다. 이 문제를 해결하기 위해 우리는 스캔 호환 KDN 근사 두 가지를 도입한다. 대각 KDN은 온라인 평균장 변분 추론을 통해 각 1단계 사후분포를 대각 가우시안 계열로 사영하는 반면, 등방성 KDN은 헤드당 단일 불확실성 스칼라를 갖는 등방성 근사를 사용한다. 이들의 불확실성 재귀는 뫼비우스 사상이며, 로그 병렬 깊이의 결합 스캔을 가능하게 한다. 750M 및 1.3B 파라미터에서의 통제된 사전학습 전반에 걸쳐, KDN 변형들은 최신 선형 어텐션 모델보다 퍼플렉서티와 평균 다운스트림 정확도를 일관되게 개선한다.

인간 손 시연을 로봇 그리퍼로 전이하는 것은 최근 로봇 학습을 위한 비용 효율적인 해법으로 부상했다. 그러나 기존 방법들은 대부분 단순한 평면 작업에 국한되어 있으며, 로봇 조작에 필수적인 복잡한 공간적 움직임(예: 회전이나 뒤집기를 포함하는 복잡한 궤적)을 처리하지 못한다. 이러한 격차에 착안하여, 우리는 세밀한 손 자세 움직임에 의해 안내되는 암시적·데이터 기반 접근법을 채택한다. 이를 위해 우리는 움직임 복잡도를 우선시하고 원활한 동작 모방을 위해 핸드헬드 그리퍼를 활용하는 엄격한 프로토콜에 따라 손-그리퍼 쌍 시연을 수집하는 확장 가능한 수집 파이프라인을 도입한다. 이는 1,254개의 고유 객체에 걸친 6,189개의 에피소드로 구성된 대규모 쌍 데이터셋을 산출하며, 기존 벤치마크보다 현저히 높은 공간적 복잡성을 보인다. 그러나 이러한 복잡한 매핑을 학습하는 것은 여전히 어렵다. 우리는 전체 그리퍼 포즈 시퀀스를 단순한 엔드투엔드 방식으로 생성하는 것이 불충분하다는 것을 관찰하는데, 이는 복잡한 동역학 아래에서 작은 궤적 편차가 빠르게 누적되기 때문이다. 이를 해결하기 위해, 우리는 2단계 프레임워크를 제안한다. 1단계에서는 매핑 목표를 단순화하기 위해 희소 그리퍼 키프레임(초기 및 최종)을 예측하고, 2단계에서는 이러한 키프레임을 조건으로 전체 연속 동작 시퀀스를 생성한다. 나아가 누적 드리프트를 완화하기 위해 그리퍼의 방향은 학습되도록 유지하는 한편, 파지 휴리스틱과 운동학적 일관성에 기반하여 그리퍼의 이동을 사후 최적화한다. 시뮬레이션과 실제 로봇 실험 모두에서, 우리의 프레임워크는 복잡한 공간 조작의 안정적이고 정밀한 손-그리퍼 전이를 가능하게 하며, 전통적 베이스라인을 크게 능가한다. 프로젝트 페이지: https://cosmoh2g.github.io.

추측 디코딩은 강화 학습(RL) 사후 학습 비용을 지배하는 롤아웃 생성을 가속한다. 온라인 공동 학습은 드래프트의 정확도를 더욱 높여 더 큰 속도 향상을 낳을 수 있다. 그러나 이 접근법을 긴 컨텍스트를 가진 대규모 모델의 공동 학습으로 확장하는 데에는 두 가지 장애물이 있다: (1) 분기 어텐션은 표준 인과적 컨텍스트 병렬(CP) 구현에서 지원되지 않으며, (2) 타깃 특징이 파이프라인 병렬(PP) 스테이지에 걸쳐 있다. 우리는 대규모 온라인 드래프트 공동 학습을 위한 엔드투엔드 시스템으로 두 문제를 모두 해결한다. CP의 경우, 랭크-로컬 분기 어텐션을 인과적 메인 시퀀스 어텐션과 병합하여 패킹되고 로드 밸런싱된 지그재그 링 어텐션을 확장한다. PP의 경우, TapChannel은 별도 경로를 통해 중간 타깃 특징을 스테이지 간에 전송하며 파이프라인 스케줄에는 영향을 주지 않는다. 실험은 공동 학습된 드래프트가 정책 기준선을 밀접하게 추종하면서 최대 122B의 모델 규모 전반에서 상당한 롤아웃 및 엔드투엔드 속도 향상을 제공함을 보여준다. 우리의 CP 설계는 256K 토큰에서 강한 스케일링을 달성하고 이전 연구보다 상당한 메모리 절감을 제공하며, 우리의 PP 전송은 약간의 오버헤드를 발생시킨다. 코드는 https://github.com/NVIDIA-NeMo/RL/issues/3698에서 확인할 수 있다.

시각 생성은 단일 호출을 통해 사용되는 생성 모델에서 계획하고, 도구를 선택하고, 중간 합성 출력을 검사하고, 실패를 수정하고, 이전 경험을 재사용할 수 있는 에이전트적 제어 과정으로 진화하고 있다. 대부분의 기존 시스템에서 컨트롤러는 LLM 또는 VLM이며, 시각 생성 모델은 도구 또는 실행기 역할을 한다. 그러나 기존 연구는 생성 시스템이 언제 에이전트적이 되는지를 판단하기 위한 일관된 기준을 결여하고 있다. 계획 깊이, 도구 사용, 다중 역할 협업, 강화학습은 흔히 에이전트성의 증거로 취급되지만, 그중 어느 것도 컨트롤러가 어떤 생성 결정을 내릴 수 있는지를 반드시 결정하지는 않는다. 우리는 생성 과정에서 컨트롤러가 직접 제어할 수 있는 대상에 따라 이 분야를 체계화한다. L1 조건화 제어에서 컨트롤러는 미리 정해진 생성기에 대한 입력을 준비하지만, 어떤 시각적 연산이 수행되는지는 제어하지 않는다. L2 실행 제어에서는 실제 생성, 편집, 렌더링 또는 기타 콘텐츠 수정 연산을 선택하고 호출한다. L3 결과 적응형 제어에서는 중간 결과를 관찰하고, 그 관찰을 사용하여 현재 작업 내의 후속 연산을 변경한다. L4 경험 적응형 제어에서는 완료된 작업의 경험을 유지하고, 그 경험을 사용하여 미래 작업에 대한 결정을 변경한다. L0 고정 지원은 생성 수준 결정을 내리는 배치된 컨트롤러 없이 생성기, 편집기, 평가기, 보상 모델, 벤치마크, 고정 파이프라인을 별도로 나타낸다. 이 수준들은 모델 크기, 시스템 복잡도, 출력 품질, 도구나 역할 수, 또는 학습 방법이 아니라 점진적으로 더 넓어지는 의사결정 범위를 설명한다. 이 프레임워크를 이미지, 비디오, 편집, 3D, 월드, 슬라이드, 사용자 인터페이스 생성 전반에 적용하면 컨트롤러 역량이 어떻게 진화해 왔는지와 그 메커니즘이 수준별로 어떻게 분포하는지를 드러낸다.

대규모 언어 모델은 장기적인 계획을 수립하고 외부 도구를 통해 행동하는 에이전트로 점점 더 많이 배포되고 있다. 대부분의 에이전트는 누적되는 이력에 대해 제약 없는 생성을 통해 행동을 선택하며, 무엇을, 어떤 순서로, 어떤 조건에서 해야 하는지에 대한 절차적 지식을 암묵적으로 남긴다. 궤적이 길어짐에 따라 에이전트는 목표를 놓치고, 도구를 순서에 맞지 않게 호출하며, 비생산적인 행동을 반복할 수 있다. 우리는 절차 그래프(Procedural Graph)를 소개한다: 지식 그래프가 '무엇인가' 질문에 대해 사실적 지식을 (개체, 관계, 개체) 트리플릿으로 조직화하는 것처럼, 절차 그래프는 '무엇을 해야 하는가' 질문에 대해 절차적 지식을 (절차, 관계, 절차) 트리플릿으로 조직화한다. 각 결정 단계에서 프레임워크는 에이전트의 활성 노드를 찾아내고, 가이던스 모델은 주변 서브그래프를 단계 수준의 상황적 가이던스로 변환하여 솔버의 다음 행동을 편향시키되 강제하지는 않는다. 이 그래프는 스스로 진화한다: LLM 정제기는 실패한 궤적과 성공한 궤적을 대조하고 그래프의 토폴로지와 속성을 편집하며, 홀드아웃 검증 성능을 유지하거나 향상시키는 편집을 커밋하는 한편, 반복을 억제하기 위해 거부된 편집들은 유지한다. 최소한의 골격에서 시작하여, 이 루프는 수작업으로 설계된 그래프와 대등하거나 능가하는 그래프를 구축한다. 또한 결함이 있는 전문가 사전 지식을 교정할 수 있다. 여러 데이터셋, 작업 유형, LLM에 걸쳐, 절차 그래프는 메모리 기반 베이스라인보다 일관된 성능 향상을 제공하며, 자기 진화는 수동 엔지니어링 없이 성능을 더욱 향상시킨다.

대규모 언어 모델은 정적 추론에서 뛰어난 능숙도를 보이지만, 장기(long-horizon) 과업을 위해 강화학습(RL)을 통해 자율 에이전트로 훈련하는 것은 종종 심각한 보상 희소성으로 인해 저해된다. 기존의 감독 미세조정(SFT)을 통한 에이전트 측 워밍업이 이를 완화할 수 있지만, 이는 흔히 데이터 희소성과 제한된 탐색으로 인해 한계가 있다. 이를 해결하기 위해 우리는 피드백 강화 환경(Feedback-Enriched Environments, FEEs)을 구축함으로써 환경 측 적응으로의 패러다임 전환을 제안한다. 예비 연구를 통해 우리는 에피소드 내 탐색과 에피소드 간 진화 모두의 후반 단계에서 행동 안내에서 관측 풍부화로 전환함으로써 환경을 재구성하는 피드백 설계 전략을 정립한다. 다양한 Qwen3 모델 규모와 GRPO, GSPO, DAPO와 같은 RL 알고리즘을 사용한 SciWorld 및 BFCL 벤치마크에 대한 대규모 실험은 FEEs가 표준 설정보다 일관되게 성능 향상을 가져옴을 입증한다. 나아가 우리의 분석은 FEEs를 사용한 훈련이 (1) 엔트로피 변동성을 줄여 학습 동역학을 안정화하고, (2) 어려운 과업에서 능동적 상태 공간 탐색을 촉진하며, (3) 단순한 추론 시 사전(prior)으로 작용하기보다 환경적 안내가 정책 가중치로 내재화되도록 보장함을 보여주며, (4) 안정적 최적화를 위한 중요한 경계로서 그룹 내 피드백 일관성을 식별한다.

3D 장면을 다시점 이미지로 표현하면 2D VLM들이 사전 학습에서 얻은 사전 정보를 재사용하여 3D에서 추론할 수 있게 하므로, 주석이 달린 3D 데이터의 부족 문제를 우회할 수 있다. 그러나 이는 수천 개의 중복 시각 토큰을 생성하며, 그 비용은 뷰가 추가될 때마다 증가한다. 기존 시각 토큰 프루너는 두 계열로 나뉘지만, 각각은 3D 다시점 설정에서 한계를 지닌다. 학습 기반 중요도 방법은 어텐션 또는 인코더 특징을 기준으로 토큰의 순위를 매기는데, 여기서 중복성은 근본적으로 공간적이기 때문에 몇몇 두드러진 영역에서 거의 중복된 토큰들을 유지하고 장면 대부분을 표현하지 못한 채 남긴다. 복셀화 방법은 공간적 커버리지를 향상시키지만 정확한 토큰 예산을 강제할 수 없고, 3D에서 다시점 관측이 중첩되면서 포화되어 유지율을 목표치보다 훨씬 낮게 제한한다. 우리는 공간적 커버리지가 3D 추론 성능과 관련이 있음을 보이고, 학습된 신호 없이 토큰 좌표만을 사용하는 결정론적이며 학습이 필요 없는 선택기인 CoVeR를 소개한다. CoVeR는 장면의 모든 영역을 집합적으로 커버하는 토큰을 선택하며, 두 계열의 한계를 모두 해결한다. 즉, 장면별 정확한 예산을 강제하고, 복셀화의 포화 정체 구간을 깨뜨리며, 학습 기반 중요도 방법의 거의 중복된 선택을 피한다. 광범위한 실험은 CoVeR가 세 가지 3D 추론 벤치마크 모두에서 기존 SOTA들을 능가하고 네 가지 VLM 전반에서 테스트된 플러그 앤 플레이 모듈로서 일반화됨을 보여준다. 주목할 점은, 시각 토큰의 약 8%만으로 전체 토큰 성능의 93.5%를 유지하여, 벤치마크 전반에서 평균적으로 SOTA를 3.9%p 능가한다는 것이다.

비전-언어-행동(Vision-Language-Action, VLA) 모델은 언어로 조건화된 로봇 조작에서 유망한 진전을 보여 왔다. 그러나 기존 데이터셋과 벤치마크는 주로 미리 정의된 설정에서 작업 완료를 평가하므로, 공간적 및 절차적 복잡성이 증가하는 상황에서의 모델 추론에 대한 통찰을 제한적으로만 제공한다. 우리는 VLA 모델의 체화된 추론을 진단하기 위한 대규모 로봇 조작 데이터셋 및 벤치마크인 RoboSPA(Robot Spatial-Procedural Assessment)를 제안한다. RoboSPA는 세밀한 공간 추론(Fine-Grained Spatial Reasoning)과 장기 지평 절차 계획(Long-Horizon Procedural Planning)이라는 두 가지 핵심 차원에 초점을 맞추며, 10개 작업 범주와 56개 기본 작업을 포괄한다. 각 작업은 다섯 가지 난이도 수준에 걸쳐 인스턴스화되어, 공간적 모호성과 절차적 복잡성이 점차 증가하는 280개 변형을 생성한다. 우리는 여러 구현체와 다양한 장면에 걸쳐 527K개의 궤적을 수집한다. 이진 성공률을 넘어, RoboSPA는 보다 세부적인 평가를 위한 진단 지표를 도입한다. 대표적인 VLA 모델에 대한 실험은 현재 시스템이 복잡한 공간 관계, 정밀한 저수준 실행, 메모리 집약적 계획에 여전히 어려움을 겪고 있음을 보여준다. 이러한 결과는 RoboSPA가 더 유능하고 신뢰할 수 있으며 일반화 가능한 체화된 에이전트를 개발하기 위한 도전적인 진단 벤치마크임을 입증한다. 우리의 데이터와 코드는 https://github.com/fanzhenxuan/RoboSPA에서 확인할 수 있다.

우리는 휴머노이드 로봇으로 장애물이 많은 실내 환경을 내비게이션하는 문제를 연구한다. 내비게이션을 2D 경로 계획 문제로 모델링하는 기존 방법과 달리, 장애물이 많은 환경에서의 휴머노이드 이동은 복잡한 3D 공간을 충돌 없이 통과하기 위한 협응된 팔 배치, 몸통 조정, 보행 조절을 포함하는 연속적인 기하학 인식 전신 적응을 요구한다. 우리는 TANGO를 소개한다. TANGO는 장애물이 많은 환경에서 언어 조건부 휴머노이드 이동을 위한 최초의 전신 비전-언어 내비게이션 프레임워크이다. 자연어 지시와 자기중심 RGB 관측이 주어지면, TANGO는 다운스트림 전신 제어를 위한 29 자유도 관절 공간 행동을 직접 예측한다. 우리는 전역 경로 계획, 기구학적 전신 동작 생성, 장애물 인식 모션 편집, RL 기반 추적을 통해 다양한 충돌 없는 이동 행동을 합성함으로써 TANGO를 전적으로 시뮬레이션에서 학습한다. 이 파이프라인은 언어 조건부 전신 정책을 학습하기 위한 동역학적으로 실현 가능한 행동 지도 신호를 제공한다. 광범위한 시뮬레이션 실험에서 TANGO는 비전-언어 내비게이션에서 최첨단 성능을 보여주며, 장애물 극복이 필요한 도전적인 장면을 내비게이션하는 데 있어 강력한 모듈형 베이스라인을 능가한다. 마지막으로, 우리는 TANGO를 Unitree G1 휴머노이드 로봇에 제로샷으로 배포하고, 실제 환경 내비게이션 데이터로 전혀 학습하지 않고도 장애물이 많은 실제 장면에서 강건한 언어 유도 이동을 관찰한다.

우리는 하나의 설계 계보를 공유하는 두 시스템에서 실제 운영 환경으로 작동하는 자율 언어 모델 트레이딩 에이전트에 대한 연속적이고 모집단 규모의 측정 기록을 제시한다: DX Terminal Pro(2026년 2월부터 3월까지 21일 동안 Base 밈코인 시장에서 실제 ETH를 거래한 3,505개의 사용자 자금 지원 볼트)와 DXAP 라이브 알파 플릿(전체 이력 기준 500~599개의 사용자 생성 에이전트, 동시 활성 91~117개, Hyperliquid 무기한 선물 거래, 2026년 6월~8월)이다. 이 기록은 약 6개월에 걸쳐 있으며, 약 30만 건의 온체인 액션을 동반한 750만 건의 단일 모델 호출과 14,596건의 체결을 생성한 추가 231,638건의 다중 도구 턴을 포함한다. 네 가지 발견이 이 논문의 핵심을 이룬다. 첫째, 운영 계층은 전략 텍스트에 적힌 그 무엇보다도 행동을 더 크게 결정한다: 리스크 슬라이더는 레버리지를 설명하고(레벨당 +0.425), 에이전트 고정효과는 분산의 60%를 흡수하며, 리더보드 렌더링 경계는 선택을 인과적으로 유도한다(상위 3개 컷오프에서 회귀 불연속 1.75배). 둘째, 포지션 크기 결정은 변동성 맹목적이다: 중위 레버리지는 모든 변동성 육분위에서 5.0배이며, 하나의 운용 태세 슬라이더 셀(장부의 11%)이 청산의 62%를 차지한다. 셋째, 에이전트는 도달한 상방 이익의 거의 아무것도 포착하지 못한다: 포지션의 43.2%가 24시간 내 최소 +300bp의 유리한 익스커전을 보였지만, 그중 49.3%는 음의 거래 수익률로 종료되었으며, 기계적 브래킷은 포지션당 +39.0bp를 회복한다. 넷째, 어느 플릿도 방향성 우위를 보이지 않는다. DXAP 플릿은 수익성이 없으며, 매칭된 Hyperliquid 소매 벤치마크에 뒤처진다(왕복 승률 41% 대 50%). 416개의 포착된 프로덕션 시나리오에 대한 프런티어 모델들의 페어드 리플레이 리그는 이 지평에서 의사결정 품질이 통계적으로 구분되지 않음을 발견하는 한편, 선택 안정성은 모델 계열에 따라 크게 다르다. 모든 핵심 결과는 일별 클러스터 추론, 순열 영가설, 공통 수수료 재진술을 견뎌낸다; 논문은 우리 자신의 철회를 대가로 얻은 17개 규칙의 방법론 정전으로 마무리된다.

확산 기반 모델은 단안 기하 추정을 가능하게 하지만, 픽셀 공간 정밀도는 공통적이며 충분히 연구되지 않은 오류 원인인 VAE 재구성 저하에 의해 제한된다. VAE 인코더-디코더의 8배 공간 압축은 객체 경계에서 표면 법선을 저하시키며, 심지어 정답 법선을 인코딩하고 디코딩하는 것만으로도 평균 각도 오차(MAE) 1.3--8.5°가 발생하고, 경계 MAE는 전역 MAE의 2.8배에 이른다. 우리는 단일 단계 결정론적 추론을 갖춘 FLUX.2 기반 rectified-flow 프레임워크인 TransNormal-2를 제안하며, 이는 VAE 디코더를 기준으로 양측, 즉 훈련 중 잠재 예측을 감독하는 방식과 추론 시 디코딩된 법선을 보정하는 방식에서 이 저하를 다룬다. 첫째, 역렌더링 자기 일관성, von Mises-Fisher 각도 손실, 웨이블릿 경계 인식 정규화를 포함한 기하 인식 픽셀 공간 손실은 VAE 디코딩 후 구면 법선 기하와 확산 이미지 형성 단서를 강제함으로써 잠재 MSE를 보완한다. 둘째, 경량 기하 정제 모듈(GRM)은 RGB 기반 잔차 보정을 적용하여 거친 예측을 자유롭게 다시 쓰지 않고 경계에 국한된 디코딩 오류를 줄인다. 일반 장면 벤치마크에서 TransNormal-2는 보고된 여덟 개 지표 모두에서 MoGe-2와 동등하거나 능가하면서도, 과제 특화 법선 주석은 1.4%만 사용한다. 이득은 투명 객체에서 가장 명확하며, 가장 강력한 기존 기준선보다 ClearGrasp에서 MAE를 4.2°, ClearPose에서 3.1° 감소시킨다. 코드는 https://longxiang-ai.github.io/TransNormal-2에서 공개될 예정이다.

비디오 파운데이션 모델은 점점 더 대규모 사전학습 데이터에 의존하고 있지만, 그 이면의 종단 간 데이터 파이프라인은 대체로 폐쇄적이어서 검사하거나 재사용하기 어렵다. 비디오 데이터 레시피가 모델 사전학습에 미치는 영향을 이해하려는 연구자들은 초점을 맞춘 가설 하나를 검증하기 전에도 상당한 인프라를 구축해야 하는 경우가 많다. 우리는 VIDAFORGE를 제시한다. 이는 비디오 데이터 레시피를 원시 비디오부터 훈련 데이터셋까지 이어지는 실행 가능한 5단계 워크플로로 표현하는 개방형 연구 인프라이다. 이 워크플로에서 한 결정을 달리하면 모든 샘플이 어떻게 생성되었는지를 보존하면서 대체 데이터셋을 구성할 수 있다. 이 연구 워크플로를 시연하기 위해, 우리는 Wan 2.1과 V-JEPA 2.1의 초기 from-scratch 사전학습에서 서로 다른 커버리지와 품질의 데이터 레시피를 비교한다. 두 학습 목표 모두에서 더 넓은 커버리지를 가진 레시피가 가장 높은 다운스트림 벤치마크 점수를 달성한 반면, 손실 기반 평가는 서로 다른 레시피를 선호했다. 이 연구는 VidaForge가 데이터 레시피 선택을 다운스트림 모델 성능과 어떻게 연결하는지 보여준다. 우리는 또한 비디오 데이터 레시피 연구를 위한 세밀한 주석과 큐레이션 신호를 포함하며, 총 6,475시간에 달하는 314만 개의 장면 수준 클립을 담은 VIDAFORGE-3M을 공개한다.

로봇 파운데이션 모델은 주로 영어로 학습되고 평가되며, 대부분의 언어에는 로봇 시연 코퍼스가 존재하지 않는다. 우리는 아키텍처 변경 없이 기계가 다시 표현한 지시문만을 사용하여 오픈 비전-언어-행동 스택에 그리스어를 추가하는 것을 연구한다. 주요 과제는 번역이 아니라 측정이다. 몇 가지 그럴듯한 측정 도구는 잘못된 결론을 낳는다: 색상 히스토그램 지표는 잡음에 보상을 주고, 단일 목표 벤치마크는 올바른 그리스어에서 84.6%, 의도적으로 잘못된 지시문에서 82.6%를 기록하며, 훈련 손실은 그리스어 성공을 예측하지 못하고, 단일 실행 비교는 시드 변동에 지배된다. 실험군당 세 개의 시드를 사용한 판별적 90개 과제 스위트에서, 그리스어 시연이 없는 다국어 텍스트 타워는 잘못된 지시문 하한에 머무는 반면, 그리스어만으로 훈련한 경우는 대조군을 최대 2.7점 상회한다. 이중 언어 훈련은 대조군 대비 일관되게 6.7–7.1점의 우위를 보이며 영어 성능의 약 5분의 2에 도달한다. 또한 정책은 번역기의 표현 방식에 과적합하며, 과제당 일곱 가지 표현으로 훈련하면 이 페널티가 대략 절반으로 줄어든다. 언어 적응된 월드 모델에서 웜 스타트하는 것과 텍스트 타워의 동결을 해제하는 것은 모두 성능을 저하시킨다. 결과는 저자원 로봇 정책 현지화를 위한 두 가지 실용적 요구사항을 뒷받침한다: 지표를 신뢰하기 전에 보장된 널을 구축할 것, 그리고 저자원 언어 결과를 여러 시드에 걸쳐 재현할 것.

장편 다중 샷 비디오를 생성하려면 샷 내의 일관된 움직임과 샷 간의 시각적으로 일관된 서사가 필요하다. 기존 비디오 생성기는 연속적인 움직임을 선호하며, 전체 서사를 하나의 시간축에 압축하여 배치할 경우 완전한 샷 집합을 제시하는 데 어려움을 겪는다. 우리는 장편 비디오를 더 짧고 시간 순서대로 정렬된 청크로 분해하고 이를 공간 그리드에 배치하여 공동 모델링하는 Multi-Grid Post-Training 패러다임인 MovieGrid를 제안한다. 이 설계는 각 시간축이 처리하는 샷 수를 줄이는 동시에 청크 간 전역 정보 교환을 가능하게 한다. 우리는 소스 비디오 수집, 계층적 분할, 그리드 비디오 구성, 캐릭터 인식 스토리 주석을 사용하여 1,000개의 장편 비디오로부터 Multi-Grid Long Video (MGLV) 데이터셋을 구축하고, 스토리 프롬프트와 쌍을 이루는 54K개의 그리드 비디오를 생성한다. 우리의 Noise-Free Random-Grid Training은 나머지 청크를 노이즈 제거하기 위한 깨끗한 시각적 문맥으로 무작위 청크 부분집합을 유지한다. Grid Embedding은 그리드 구조를 인코딩하고, 캐릭터 인식 스토리 프롬프트는 반복 등장하는 개체를 연결하며, Grid Boundary Loss는 레이아웃을 안정화한다. 동일한 토큰 예산 하에서 MovieGrid는 1,616프레임 비디오에서 Temporal Packing보다 6.05배 더 많은 샷을 생성한다. 다섯 가지 실제 세계 범주에 걸친 벤치마크에서, 이는 최고 수준의 샷 내 일관성(0.9131 대 HoloCine의 0.8086)과 샷 간 일관성(0.5914 대 StoryMem의 0.5384)을 달성한다. MovieGrid는 단일 또는 다중 생성을 통해 성능 저하를 최소화하면서 비디오 길이를 더욱 확장할 수 있다.

전이중(full-duplex) 음성 언어 모델은 동시에 듣고 말할 수 있어 인간 대화에서의 끼어들기와 백채널을 처리할 수 있다. 그러나 텍스트 생성, 음성 합성, 오디오 재생은 비동기적으로 진행된다. 그 결과, 모델이 자신이 말했다고 믿는 내용은 사용자에게 실제로 재생된 내용과 일치하지 않을 수 있다. 우리는 모델의 실현된 발화를 인지한 상태에서 끼어들기로부터 복구하는 문제를 앵커 인터럽션(anchor interruption)이라고 부른다. 이 문제를 해결하기 위해, 우리는 사용자 음성, 모델 텍스트, 모델이 재생한 음성을 인터리빙하는 전이중 모델링 접근법인 Self-Listening을 제안한다. 실현된 음성 출력을 입력 스트림으로 모델에 되먹임함으로써, Self-Listening은 끼어들기 복구를 사용자가 실제로 들은 내용에 기반하게 한다. 우리는 추가로 구조화된 순차 응답의 어떤 항목이 실제로 발화되었는지 추적하기 위한 동질적인 학습 및 테스트 분할을 가진 컬렉션인 AnchorSpeech를 소개한다. AnchorSpeech-test는 모델이 끼어들기 전 마지막으로 완료된 항목과 일관되게 응답할 수 있는지 평가한다. 실험은 전이중 베이스라인과 비교하여 Self-Listening 메커니즘을 갖춘 모델이 더 나은 앵커링 성능을 달성함을 보여준다.

단안 비디오로부터 임상적으로 의미 있는 보행 매개변수를 정확하게 추정하는 것은 확장 가능한 이동성 평가에 중요하지만, 기존 데이터셋의 작은 규모, 제한된 시점, 제한된 시각적 다양성으로 인해 진전이 제한되어 왔다. 우리는 437명의 피험자에 걸친 6,427개 MoCap 시퀀스에서 파생된 19,272개 보행 비디오를 포함하며, SMPL 모션과 여섯 가지 보행 매개변수에 대한 주석이 함께 제공되는 물리적 근거에 기반한 합성 비디오 데이터셋 SynthGait-19k를 소개한다. 데이터셋을 구축하기 위해 우리는 Gait2Vid를 개발하는데, 이는 SMPL을 통해 이질적인 MoCap 기록을 통합하고 제어 가능한 시점과 장면 외형에서 다양한 RGB 보행 비디오를 합성한다. 우리는 생성된 비디오가 조건화된 보행 운동학과 일치하는지 평가하고, 추출된 보행 이벤트를 지면반력판 측정값과 대조하여 검증한다. SynthGait-19K를 사용하여 우리는 직접 RGB, 포즈 기반, 생체역학적, 인체 메시 복원 접근법을 벤치마킹하고 시점, 학습 데이터 규모, 합성-실제 도메인 이동을 분석한다. 우리는 또한 보행 매개변수 추정을 위한 직접 RGB 기준 모델로서 GaitXFormer를 소개한다. 합성 데이터 기반 지도는 GaitXFormer와 포즈 기반 아키텍처 모두에 걸쳐 실제 비디오로 효과적으로 전이되며, 서로 다른 표현 전반에서 유용성을 입증한다. 우리는 추가로 공간적 보행 매개변수가 시각적 도메인 이동에 더 민감하며, 개선된 HMR 복원만으로는 개선된 다운스트림 보행 추정으로 반드시 이어지지 않는다는 것을 발견한다.

대규모 신경망의 압축은 자원이 제한된 기기에서 모델을 배포하는 데 필수적이다. 대부분의 기존 방법은 가중치 프루닝 또는 저비트 양자화를 개별적으로 채택하며, 성능 저하를 허용 가능한 수준으로 유지하기 위해 종종 최적에 못 미치는 압축률을 초래한다. 우리는 베이지안 변분 학습(\method)을 통해 프루닝과 저비트 양자화를 동시에 수행하는 통합 프레임워크를 제안하며, 이는 기존 베이스라인보다 더 높은 압축률을 달성하면서도 유사한 성능을 유지한다. 핵심 아이디어는 spike-and-slab 사전분포를 사용하여 희소성을 유도하고, 양자화된 가중치를 가우시안 혼합 모델(GMM)로 모델링하여 저비트 정밀도를 가능하게 하는 것이다. GMM과 결합된 spike-and-slab 사전분포를 포함하는 목적함수가 다루기 어렵기 때문에, 우리는 최소한의 정확도 손실로 효과적인 압축을 가능하게 하는 효율적인 근사를 도출한다. 이론적으로, 우리는 희소 및 양자화된 심층 신경망에 대한 제안된 변분 접근법의 일관성 결과를 제공한다. ResNet, BERT-base, Llama3.2, Qwen2.5 모델 압축에 대한 광범위한 실험은 우리 방법이 비교 가능한 성능 저하를 보이면서 일련의 기존 방법들보다 더 높은 압축률을 달성함을 보여준다. 프로젝트 페이지: https://comeusr.github.io/SQS_Webpage.

모델 오정렬, 프롬프트 인젝션 또는 운영자 오용은 프런티어 랩 계정을 운영하는 AI 에이전트가 모델 가중치를 유출하거나 훈련 데이터를 오염시키거나 릴리스 게이트를 약화시키도록 이끌 수 있다. 기존 벤치마크는 제한된 검토 예산 아래에서 방어자가 일상 업무 중 이러한 활동을 탐지할 수 있는지 테스트하지 않는다. 우리는 30 근무일 동안 9개의 상태 유지 서비스를 공유하는 AI가 운영하는 150개 계정으로 구성된 공개 벤치마크인 MOLE를 소개한다. MOLE는 12개 위협과, 4개 모델에서 가져온 총 약 200억 토큰에 달하는 8개 코퍼스를 포함한다. 39개 에이전트 모델 중 72%가 할당된 유해 목표 대부분을 완료하며, 에이전트의 거부는 완료를 예측하지 못한다. MOLE는 코퍼스 생성기, 관측 가능성 수준, 위협 전반에 걸쳐 40개 모니터의 비교를 가능하게 한다. 우리의 단일 일자 감사 이벤트 비교에서 평가된 최고의 모니터조차 완료된 유해 행위의 거의 절반을 놓친다. MOLE는 또한 모니터 개발을 가능하게 한다: 벤치마크 기반 탐색은 중간급 모니터를 49-64% 향상시키며, 더 강력한 모니터를 선택적으로 사용하는 것은 유사한 모델링 비용에서 이를 모든 계정-일에 적용하는 것보다 budget-AUC를 10% 향상시킨다.

우리는 수치형 시계열을 위한 오차 한계 손실 압축기인 Cadence를 제안한다. Cadence는 330M 파라미터의 시계열 파운데이션 모델(Google TimesFM-3)과 적응형 산술 부호기를 결합하며, 모든 표본에서 |x_t-\hat{x}_t|≤τ를 보장한다. 하나의 부정적 결과가 설계 공간을 제약한다: 무손실 부호화에서 파운데이션 모델은 아무 가치가 없는데, 절약되는 비트 수가 예측기 정확도에 대해 로그적이기 때문이다. Δb=log_2(MAE_{old}/MAE_{new}). 따라서 TimesFM-3가 32탭 선형 예측기보다 갖는 1.51배의 이점은 20.28비트 중 0.60비트를 얻는 데 그치며, 중앙값 이득은 +0.03%이다. 오차 한계 부호화는 한 지점에서 이 제약을 벗어난다: 예측값이 밴드 안에 들어오면 잔차 인덱스가 0이 되어 해당 표본은 거의 비용이 들지 않는다. Cadence의 기여는 다음과 같다: (1) 문맥 모델링된 이진화를 갖춘 적응형 레인지 부호기로, 실제 인덱스에서 xz/zstd를 9.7%(15/15) 능가하고 범용 백엔드의 한 발견을 뒤집는다. (2) 결정성 결과 -- 예측은 배치 크기에 따라 비트 단위로 동일하지 않으며, 어떤 PyTorch 구성으로도 이를 바로잡을 수 없어 그룹 크기와 실행 장치를 컨테이너 형식에 포함하도록 강제한다. 그리고 (3) 그럴듯한 학습 컷오프 이후의 말뭉치에 대한 도메인 국소화. 2026년 EIA-930 밸런싱 기관 수요 시계열 49개에서 Cadence는 여섯 가지 고전적 예측기 중 최고보다 13.3% 이득을 얻고, 2026년 MTA 승객 수 시계열 50개에서는 28.3%를 얻는다: 297개의 시계열-허용오차 쌍에 걸쳐 중앙값 21.4%이며, 297개 모두에서 승리한다. 시계열 데이터베이스가 보존을 위해 도입하는 다운샘플링과 비교할 때, 동일한 크기에서 보장된 최악 오차는 28--56배 더 작다. 엔드투엔드로, 문맥 부트스트랩 비용을 치르고 나면 이득은 6개월치 시간별 데이터에서 6.8%부터 점근적으로 15.1%까지 이른다. SDRBench에서 도메인 주장을 반증하려는 시도에서 이론은 실패를 예측하며 실제로 그렇게 된다: 중앙값 -0.8%, 27개 쌍 중 이득을 보는 쌍은 0개이다. 세 가지 추가 부정적 결과와 여덟 가지 철회된 주장이 상세히 보고된다.

트랜스포머는 어떤 속성이 아직 출력에 영향을 미치지 않는 깊이에서 그 속성을 잔차 스트림 안에서 선형적으로 디코딩 가능하게 만들 수 있다. 정보를 읽을 수 있는 위치와 정보가 사용되는 위치 사이의 이러한 간극은 입력에 직접 명시된 속성들에 대해 입증되어 왔다. 우리는 이 간극이 대화 전반에 걸쳐 모델이 점진적으로 추론해야 하는 속성, 즉 대화 상대가 얼마나 전문가인지에 대해서도 성립하는지 묻는다. 네 가지 전문성 수준에서 모델이 연기한 페르소나들 간의 다중 턴 연구 계획 대화 코퍼스인 ExpertCollab을 사용하여, 우리는 대화 상대의 전문성이 초기 층에서 가장 잘 디코딩되며 네트워크 중간 지점 이전에 거의 우연 수준으로 떨어진다는 것을 발견한다. 반사실적 패칭은 최대 디코딩 가능성 층에 전문성 차이를 주입하는 것이 고정된 후기 층 리드아웃을 거의 변화시키지 않는 반면, 동일한 차이를 중간 지점 이후에 주입하면 거의 완전하게 전파되며, 이는 10배 이상의 분리를 보여준다. 내용을 일치시킨 무작위 통제와 프로브가 필요 없는 진단은 전환을 동일한 초기 층에 위치시키며, 정적으로 명시된 통제 속성은 전반에 걸쳐 디코딩 가능한 상태로 유지된다. 따라서 추론된 관계적 속성은 그것이 인과적으로 활성화되기 훨씬 전에 표상되며, 이는 대화 상대에 조건화된 행동을 읽어내거나 조향하려는 모든 시도가 개입해야 하는 위치를 제한한다. 우리는 합성 코퍼스에 대한 하나의 모델을 초기 시연으로 사용한다.

본 논문에서는 실시간 스트리밍 비디오 이상 이해(VAU)를 위한 Slow-Fast 분리형 프레임워크인 ReactVAU를 제안한다. 기존 VAU 방법들은 전역 시간 샘플링을 이용한 오프라인 추론에 의존하여 인과성을 위배하고 실시간 감시 스트림에 배포하는 것을 불가능하게 한다. 반대로, 일반적인 스트리밍 비디오 모델은 인과적 접근을 충족하지만 메모리 압축 과정에서 희귀하고 일시적인 이상을 희석하며, 긴 정상 구간에 걸쳐 무거운 MLLM을 균일하게 호출하는 경우가 많다. ReactVAU는 세 가지 시너지 구성요소를 통해 이러한 격차를 해결한다: 연속적 이상 필터링을 위한 Spatial Grid Folding(SGF) 기반 경량 Fast Detection Module; 시간적 감쇠로부터 중요한 시각적 단서를 보호하는 Anomaly-Aware Persistent Memory(AAPM); 그리고 정상 스트림에서는 휴면 상태로 남아 있다가 의심스러운 이벤트에 의해서만 깨어나 의미론적 검증과 인과적 설명을 수행하는 무거운 Slow Reasoning Module. 다양한 벤치마크에 대한 광범위한 실험은 ReactVAU가 엄격한 스트리밍 제약 하에서 동작하면서도 이상 탐지와 인과 추론 모두에서 경쟁력 있는 성능을 달성하고, 무거운 MLLM 호출을 최소화함으로써 계산 효율성을 크게 향상시킴을 입증한다. 프로젝트 페이지는 https://huiyuiui.github.io/React_VAU/ 에서 확인할 수 있다.

조작되거나 생성된 얼굴의 사실성과 접근성이 높아짐에 따라 디지털 미디어의 신뢰성이 위협받고 있다. 이러한 위조를 탐지하기 위해 비전 파운데이션 모델 기반 딥페이크 탐지기들이 유망한 성능을 보여 왔지만, 이들은 일반적으로 단일 사전학습 표현에 의존하며 특정 학습 분포에 과적합되기 쉽다. 보지 못한 위조에 대한 일반화를 향상하기 위해, 우리는 CLIP의 언어 정렬 의미 프라이어와 DINO의 자기지도 시각 구조 프라이어를 활용하는 불확실성 인식 캐스케이드 융합 네트워크인 UCF-Net을 제안한다. UCF-Net은 Transformer 깊이 전반에 걸쳐 계층적 특징을 추출하고, 레이어별 전문가 집계를 사용해 각 인코더의 다층 단서를 적응적으로 결합하며, 엔트로피에서 도출된 불확실성에 기반해 결과 표현들의 가중 융합을 수행한다. 또한 우리는 공개 딥페이크 데이터셋들을 약 400만 장 이미지의 통합 벤치마크로 통합하고, 8개의 최신 생성기에서 얻은 8천 장 이상의 얼굴 이미지로 구성된 별도의 교차 생성기 평가 세트를 구축한다. 통합 벤치마크에서 UCF-Net은 평가된 방법들 가운데 도메인 내 및 교차 도메인 평가 모두에서 최고 평균 AUC를 달성한다. 교차 생성기 세트에서는 제한된 타깃 도메인 데이터로 효과적으로 적응하지만, 제로샷 전이는 여전히 어려운 과제로 남아 있다.

대규모 언어 모델은 종종 답변을 보류하는 대신 cot(-540°) 계산하기나 (1).startswith("1") 평가하기와 같이 구조적으로 답할 수 없는 질문에 답한다. 우리는 이러한 실패가 인식의 결여를 반영하는지, 아니면 인식에서 보류로 이어지는 라우팅의 실패를 반영하는지 묻는다. 1.7B에서 70B 매개변수에 이르는 인스트럭션 튜닝 모델 전반에서, 은닉 상태의 단일 선형 방향이 답할 수 있는 수학 및 코드 프롬프트와 구조적으로 불가능한 수학 및 코드 프롬프트를 분리하며, 이는 모델이 생성 전에 불가능성을 표상함을 보여 준다. 그러나 이 인식 방향은 훈련된 유해 콘텐츠 거부를 매개하는 표준적인 안전 거부 방향과 거의 직교한다. 도메인 내에서 행동으로 정의되는 무효성 인지 방향은 인식 방향에 더 가깝지만, 그것과 부분적으로만 정렬되어 있으며 안전 거부와는 거의 직교한 상태로 남는다. 생성 시점에 인식 방향을 따라 스티어링하면 구조적 수학 및 코드 셀에서 무효성 인지 행동이 양방향으로, 그리고 용량 반응적으로 변하지만, 무작위 방향은 그렇지 않다. 베이스/인스트럭트 비교는 낮은 코사인 기하 구조가 이미 사전학습 종료 지점에 존재함을 추가로 보여 준다. 따라서 불가능한 것에 대해 확신하는 실패는 인코딩 실패라기보다 라우팅 실패로 더 잘 설명된다: 모델은 사용 가능한 "허용 가능한 답이 없음" 신호를 가지고 있지만, 안전 거부 경로는 이를 사용하도록 정렬되어 있지 않다.

사고 연쇄(Chain-of-Thought, CoT)는 대규모 언어 모델(LLM)의 추론 능력을 향상시키지만 상당한 연산 및 컨텍스트 비용을 초래한다. 기존 방법들은 하드 프루닝을 통해 중간 정보를 손실하거나 연속 압축을 위한 원칙에 기반한 기준을 결여한다. 우리는 A*-Thought-V2를 제시한다. 이는 LLM의 기하학적 동역학에 기반한 프레임워크로, CoT를 은닉 상태 궤적으로 모델링하고 하드 삭제를 명시적-암시적 교차 잠재 아키텍처로 대체한다. 질문, 단계, 해답 표현을 3차원 PCA 공간에 투영한 후, 각 국소 전이와 전역 질문-해답 방향 간의 정렬도를 측정한다. 정렬된 단계는 명시적 텍스트로 유지되는 반면, 벗어난 단계는 연속 잠재 토큰으로 압축된다. 방향 각도는 국소 의미론과 추론 동역학을 모두 포착한다. 작은 각도는 직접적 실행과 답 형성을 나타내는 반면, 큰 각도는 검사, 수정, 분기 탐색과 더 자주 관련된다. 이들의 시간적 변동은 탐색, 수렴, 정교화 단계를 드러낸다. 이 아키텍처를 훈련하기 위해, 우리는 각 중복 단계를 단일 잠재 임베딩으로 풀링하는 단계별 임베딩 강제(stepwise embedding forcing)와 하드 원-핫 레이블 대신 소프트 멀티모달 어휘 분포로 해당 잠재 토큰을 지도하는 레이블 강제(label forcing)를 도입한다. Qwen3.5-9B 및 Qwen3.6-27B에서 6개의 도메인 내 및 도메인 외 벤치마크에 대한 실험은 A*-Thought-V2가 평균 정확도를 최대 2.6% 향상시키면서 응답 길이를 최대 절반으로 줄이고, 연산 단위당 정확도(Accuracy per Computation Unit)를 2.29배 높이며, 전처리 및 훈련 시간을 각각 94.6% 및 최대 80.3% 감소시킴을 보여준다. 표현 분석은 잠재 상태가 텍스트 상태와 구별되는 조밀한 영역을 형성함을 시사하는 한편, 잠재 토큰 위치에서의 더 높은 엔트로피는 더 풍부한 단계 수준 특징 학습을 장려하는 더 넓은 소프트 타깃을 반영한다.

멀티모달 대규모 언어 모델(MLLM)은 시각 질의응답과 같은 일반적인 시각 이해 과제에서는 강력한 성능을 보이지만, 두 유사 이미지 간에 무엇이 달라졌는지 식별하는 기본적인 비교 능력에서는 종종 어려움을 겪는다. 우리는 세밀한 이미지 차이 식별을 위한 도전적인 4지선다형 벤치마크인 VDiff-Bench를 소개한다. VDiff-Bench는 이미지 쌍에 대한 1,756개의 4지선다형 질문을 포함하며, 위치, 움직임, 국부 이미지 색상, 전체 이미지 색상, 등장/소멸, 노이즈/해상도, 텍스처, 대체/크기, OCR/텍스트, 조명의 10가지 변화 범주를 다룬다. 각 질문은 두 개의 이미지 입력과 4개의 선택지로 구성된다: 실제 차이, 두 개의 어려운 네거티브 설명, 그리고 "차이 없음" 방해 선택지. 과제를 어렵게 만들기 위해, 우리는 모델이 실제 변화를 의미적으로 인접한 대안들과 구별하도록 요구하는 정답 조건부 네거티브를 특별히 구성한다. 11개의 최신 오픈소스 및 클로즈드소스 MLLM을 대상으로 한 실험은 세밀한 시각 비교가 여전히 취약함을 보여준다: 모델들은 출처와 변화 범주 전반에서 고르지 않은 성능을 보이며, 노이즈와 텍스처 같은 미세한 저수준 변화에서 지속적으로 실패한다. 예를 들어, 7-8B 규모의 오픈소스 MLLM 세 개는 의미론적 변화에서는 52.5-70.6%를 기록하지만 노이즈와 텍스처 같은 저수준 변화에서는 8.7-33.3%에 그치며, 두 이미지 입력 사이에 변화가 없다고 잘못 가정한다. 놀랍게도, 다른 클로즈드소스 상용 모델들이 강력한 성능을 보임에도 불구하고, Grok 4.3은 이미지 간 노이즈 및 텍스처 차이를 식별하는 데 현저한 성능 저하를 보여 Kimi K2.5 및 K3 같은 대규모 오픈소스 모델보다 크게 뒤처진다. 종합적으로, VDiff-Bench는 MLLM의 비교 시각 이해를 평가하기 위한 표적화된 진단 도구를 제공하며, 표준 단일 이미지 비전-언어 과제로는 포착되지 않는 실패를 드러낸다.

이미지 재조명은 전통적으로 ill-posed 최적화 문제를 겪는 복잡한 역렌더링 파이프라인이나, 3D 기하 및 재질 상호작용을 이해하는 데 필요한 중요한 다시점 단서를 무시하는 단일 이미지 생성 모델을 통해 다루어져 왔다. 이러한 한계를 해결하기 위해, 우리는 명시적인 고유 속성 추정을 완전히 우회하는 직접적인 단일 및 다시점 이미지 재조명을 위한 피드포워드 생성 트랜스포머를 제안한다. 비디오 파운데이션 모델에서 적응된 우리 아키텍처는 교차 어텐션을 통해 대상 환경 맵을 공간 특징에 동적으로 주입하는 잠재 조명 모듈을 갖추고 있다. 또한 우리는 순차적 편향 없이 순서가 없는 다시점 입력을 대칭적으로 처리하기 위해 순열 불변 위치 인코딩을 사용한다. 이 견고한 데이터 기반 모델을 훈련하기 위해, 우리는 90K 개의 객체와 39K 개의 고유 조명으로 구성된 대규모 Laval Objaverse Dataset(LOD)을 구축한다. 광범위한 실험은 단일 시점, 다시점 및 새로운 시점 재조명 작업 전반에 걸쳐 최첨단 시각적 품질, 사실적인 재조명 품질, 강력한 제로샷 일반화를 입증한다.

인간은 한 학문 분야를 숙달하고 그 분야의 가장 어려운 문제에 도전하기 위해 잘 쓰인 교과서 몇 권만 공부하면 된다. 우리는 이상적인 자기진화 방법도 동일한 성질을 공유해야 한다고 주장한다. 즉, 전이 가능한 문제 해결 능력을 위해 원시 훈련 자료로부터 자율적으로 학습해야 한다. 그러나 우리는 아직 그것을 직접 측정할 수단을 갖고 있지 않다. 우리는 자기진화 방법이 훈련 자료를 능력으로 얼마나 효율적으로 변환하는지 직접 측정하는 통제된 물리 벤치마크인 StudyBench를 소개한다. 우리는 테스트 세트를 어려운 교과서 문제들로 구성되어 흡수 능력을 평가하는 응용 세트와, 올림피아드 수준 문제들로 구성되어 전이 능력을 평가하는 전이 세트로 조직한다. 세 가지 기본 모델에 걸쳐 대표적인 자기진화 방법들을 벤치마킹한 결과, 응용 세트에서의 개선은 더 어려운 전이 세트로 거의 이어지지 않는다. 가이던스 절제 실험은 가이던스 격차를 드러낸다: 가장 강력한 방법조차 동일한 자료가 문맥 내 가이던스로 제공될 때 얻어지는 향상의 극히 일부만 메운다. 게다가 모든 방법은 계산 플래토에 도달하여 계산 예산을 모두 소진하기 훨씬 전에 포화된다. 따라서 남은 격차는 데이터나 계산 문제가 아니라 방법론의 문제이다. 깨끗하고 통제된 벤치마크를 제공함으로써 StudyBench는 자기진화의 진전을 열린 탐구에서 향후 연구를 위한 측정 가능한 목표로 전환한다. 우리 코드는 https://github.com/thunlp/StudyBench 에 공개되어 있다.

의료의 디지털화는 평생에 걸친 방대하고 종단적이며 다중모달적인 환자 기록을 생성해 왔지만, 이러한 데이터를 충분히 활용하여 환자 상태 궤적을 표현하고 예측하는 것은 여전히 중요한 과제로 남아 있다. 현재의 AI 모델은 실제 세계의 다중모달 환자 데이터가 지닌 복잡하고 불규칙한 시간적 동역학과 내재적 확률성을 포착하는 데 종종 어려움을 겪는다. 종단적 환자 기록을 모델링하기 위한 기존 AI 접근법은 대부분 판별적이며, 소수의 모달리티에 국한되고, 닫힌 범주형 어휘에 의해 제약받거나, 시간을 단조적 귀납 편향으로 취급하거나, 미래 환자 상태 예측에 한계가 있다. 우리는 전체 다중모달 환자 여정을 표현하고 예측하는 시간 인식형, 과제 불가지론적, 생성적 트랜스포머 모델인 NOAH를 소개한다. NOAH는 환자 상태의 연속적 진화와 임상 궤적의 확률성을 포착하기 위한 새로운 양방향 시간 통합과 변분 잠재 공간을 특징으로 한다. MIMIC 데이터셋 패밀리 전반에 걸친 299,000명 환자의 431,000건 병원 방문에서 얻은 5억 5,900만 건 이상의 임상 이벤트로 구축된 NOAH는 의료 영상, 시계열 및 수치 신호, 범주형 이벤트, 구조화 및 비구조화 임상 기록을 기본적으로 처리한다. NOAH는 해당 분야 최초의 진정한 총체적 생성 모델로, 선택적 시간 제어를 통한 자기회귀 예측, 제로샷 분류, 반사실적 개입 시뮬레이션을 가능하게 한다. 이는 임상 결과, 15개 ICD 장, 29개 동반질환에 대한 프로빙과 사건 발생 시간 예측에서 강력한 성능을 입증하는, 매우 정보가 풍부하고 예측력 있는 환자 상태 표현을 생성한다. 다양한 모달리티와 복잡한 시간적 동역학을 원활하게 처리하는 NOAH는 맞춤형 임상 치료와 디지털 의학에서 지능형 예측 시스템을 위한 다재다능하고 과제 불가지론적이며 확장 가능한 기반을 제공한다.

최신 LLM 기반 에이전트는 도구, 재사용 가능한 스킬, 전문 에이전트로 구성된 하네스를 통해 작동하며, 이 하네스는 에이전트가 무엇을 관찰하고 무엇을 할 수 있는지를 규정한다. 실제로 이러한 하네스는 새로운 능력이 추가됨에 따라 지속적으로 진화한다. 우리는 통제된 하네스 진화를 세 축(도구, 스킬, 에이전트)에 걸쳐 평가하기 위한 벤치마크인 EVOHARNESSBENCH를 소개한다. 일반적으로 하네스를 고정한 채 비정상성(즉, 시간에 따라 변하는 것)을 과제 스트림에 두는 기존의 에이전트 지속 학습 벤치마크와 달리, EVOHARNESSBENCH는 비정상성을 외부에서 제공되는 하네스 자체에 둔다. 이는 검증기 기반 벤치마크로부터 결정론적으로 구성된 17개의 다단계 하네스 스트림을 포함하며, 802개 과제, 520개 도구, 42개 스킬, 62개 에이전트로 이루어져 있다. 우리는 하네스 진화의 핵심 난제에 대응하는 두 가지 상호 보완적 설정을 평가한다: 배포 평가는 하네스가 확장됨에 따라 이전에 접근 가능했던 역량의 유지 여부를 분리해 측정하고, 자기 진화 적응 평가는 새로운 능력이 도입될 때 축적된 경험이 유용하게 남는지를 시험한다. 우리의 결과는 세 가지 지속적인 격차를 드러낸다. 첫째, 하네스 확장만으로도 이전에 해결한 과제에서 성능이 저하되어 하네스 유발 망각이 발생할 수 있다. 둘째, 자기 진화 적응에서 얻는 이점은 하네스 진화의 단계, 능력 축, 환경 전반에 걸쳐 일관되지 않다. 셋째, 유지와 적응은 서로 다른 방향으로 작용할 수 있다: 이전 역량을 보존하는 것이 새로 도입된 능력에 대한 적응을 반드시 향상시키지는 않으며, 그 반대도 마찬가지다. 이러한 결과는 진화하는 하네스를 따라가면서도 이전의 효과적인 행동을 보존할 수 있는 에이전트를 구축하는 데 있어 하네스 진화가 별개의 난제임을 확립한다.

에이전트는 공유 인프라를 조정된 침입을 위한 채널로 전환할 수 있다. 허깅페이스 사건과 별도의 공개 위키 조사는 보안 평가가 여러 실행과 그 실행들이 남긴 아티팩트로부터 얻은 증거를 필요로 할 수 있는 이유를 보여준다. 우리는 방어의 운영 단위가 관찰된 전송, 작업 권한, 대응 이력을 연결하는 수정 가능한 조정 에피소드여야 한다고 주장한다. 핵심 연구 문제는 전향적 에피소드 발견이다. 즉, 평가자가 그 구성원 자격을 제공하기 전에 어떤 행동들이 함께 속하는지를 찾는 것이다. 우리는 비승인 조정을 협업 및 위임 권한 정책에 비추어 정의하고, 저장소 매개 조정을 스티그머지와 연결하며, 영향과 공통 원인을 구별하는 데 필요한 증거를 명시한다. 최초 접촉 신호는 발견을 위한 하나의 가능한 입력이다. 이 설계는 또한 상속된 상태와 이후 사용을 추적한다. 제안된 평가는 격리된 행동, 롤링 윈도, 알려진 그룹, 전향적으로 발견된 에피소드를 검토 비용과 오경보 작업량을 매칭한 조건에서 비교한다. 이는 할당된 모든 모집단 실행에 걸쳐 유해한 결과를 측정하고 채널 폐쇄와 상태 격리 이후 재발을 검사한다. 체크섬으로 검증된 공개 위키 내보내기 재구성은 보존된 쓰기의 감소를 이후의 관리적 정리와 분리한다. 기여는 사건에 근거한 입장, 서술적 분석, 평가 설계이다. 이는 새로운 탐지기나 측정된 봉쇄 효과를 주장하지 않으면서 실행 전반에 걸친 모니터링 권고를 검증 가능하게 만든다.

우리는 최신 물리 기반 렌더링 시스템을 보완하며, 장면별 학습이나 특수 코드 없이 코스틱스, 체적 산란, 환경 조명, 텍스처 및 변위 표면, 분포 외 재질과 같은 다양한 광 수송 효과를 처리할 수 있는 통합된 학습형 트랜스포머 기반 신경 렌더링 모델인 'RenderFormer-V2'를 제시한다. RenderFormer-V2는 전역 광 수송을 시퀀스-투-시퀀스 변환으로 모델링한다. 전작에 이어 RenderFormer-V2 역시 2단계 프로세스를 채택한다: 장면 내 프리미티브 간 수송을 해결하는 시점 독립 단계와 내부 신경 장면 표현을 이미지 픽셀로 변환하는 시점 종속 단계이다. RenderFormer와 달리, 우리 모델은 시점 독립 단계에서 새롭게 결합된 윈도우 어텐션과 렌더링 정보를 반영한 어텐션 싱크를 사용하여 렌더링 정확도를 유지하면서 확장성을 향상시킨다. 범용성을 더욱 향상시키기 위해 RenderFormer-V2는 환경 맵과 참여 매질을 포함한 이종 장면 프리미티브를 지원하며, 새로운 신경 임베딩을 통해 재질 외관을 인코딩하는, 기저 표면 반사 모델과 독립적인 재질 인코딩을 사용한다. 우리는 다양한 장면에서 RenderFormer-V2의 범용성을 입증하고 개선된 어텐션 메커니즘에 대한 광범위한 절제 실험을 수행한다.

우리는 기업 분석에 대한 거버넌스 기반 접근법을 연구한다. 언어 모델은 질문을 해석하고, 결정론적 정책은 사전 승인된 분석 프로그램을 선택 및 실행하여 결과와 근거를 모두 반환한다. 우리는 이러한 제약이 관계 연산과 집계, 비교, 윈도, 순위, 유사도를 사용하는 정의된 분석 클래스 내에서 표현력을 유지할 수 있음을 보인다. 고정된 의미, 정책, 데이터, 실행 규칙은 또한 결과를 재현 가능하게 만든다. 440회 실행에서 세 개의 8B 모델은 런타임에 SQL을 생성하고 도구를 선택한 반면, Qwen3-8B는 의도만 해석하고 정책이 승인된 프로그램을 실행했다. 330개의 런타임 계획 에피소드 중 어느 것도 모든 테스트 데이터셋에서 전체 답변-근거 계약을 충족하지 못했으며, 정책 실행 분석기는 110개 중 110개를 충족했다. 이는 구성 특정적 결과이며, 런타임 에이전트가 다른 설계에서 성공할 수 없다는 증거가 아니다.

우리는 O(n) 크기의 상태를 유지하고 이를 희소 동적 라우팅을 통해 접근하는 아키텍처인 그래프 머신(Graph Machine, GM)을 제안한다. 고정 크기 상태를 사용하거나 희소하지만 정적인 라우팅을 사용하는 방법들과 달리, GM은 잠재적으로 접근 가능한 상태 크기를 O(1)로 제한하지 않으면서 희소 계층에서 O(n) 복잡도를 유지한다. 대신 GM은 포인터 추적을 닮은 리퍼럴 메커니즘에 의해 미분 가능하게 갱신되는 포인터 유사 객체인 에지를 사용한다. 우리는 Qwen3-0.6B의 dense Transformer 계층 중 75%를 GM 희소 계층으로 교체하고 15.7B 토큰으로 처음부터 사전학습한다. 각 희소 계층에서 KV 헤드당 4,096개 토큰 중 단 2개만 검색할 때 손실은 약간만 저하되며, 4개일 때 최상의 모델은 손실을 소폭 개선한다.

지시 기반 3D 편집은 인터랙티브 콘텐츠 제작에 필수적이지만, 고품질 쌍 학습 데이터의 심각한 희소성이라는 중대한 병목에 직면해 있다. 기존 접근법은 느린 테스트 시점 최적화에 의존하거나 복잡한 파이프라인을 통해 구성된 의사 쌍으로 학습함으로써 이를 우회하려 하지만, 이는 종종 구조적 드리프트와 기하학적 아티팩트를 초래한다. 본 논문에서 우리는 생성 사전 증류(Generative Prior Distillation)를 통해 쌍을 이룬 3D 지도 없이 피드포워드 3D 편집을 학습하는 새로운 프레임워크를 제안한다. 정답 3D 쌍에 의존하는 대신, 우리의 핵심 아이디어는 강력한 파운데이션 모델로부터 시각적, 의미적, 기하학적 지식을 3D 편집 모델에 직접 증류하는 것이다. 구체적으로, 미분 가능한 렌더링 파이프라인을 통해 우리는 두 가지 상보적 신호를 사용하여 3D 표현을 지도한다: 주 편집 시점에서 이미지 편집 모델로부터의 2D 시각적 사전과, 새로운 시점에서 비전-언어 모델로부터의 의미적 사전으로, 이는 엄격한 지시 수행과 원본 정체성 보존을 보장한다. 결정적으로, 2D 투영 지도에 내재된 기하학적 붕괴와 다중 시점 불일치를 해결하기 위해, 우리는 3D 인식 분포 매칭 정규화를 도입한다. 기하학적 사전으로 작용하는 이 항은 3D 잠재 공간에서 작동하며, 편집된 출력이 사전 학습된 이미지-투-3D 교사 모델에 의해 정의된 사실적인 3D 자산의 매니폴드 내에 머물도록 제약한다. 광범위한 실험은 우리 방법이 우수한 지시 충실도와 시점 간 일관성을 달성하며 최신 베이스라인을 크게 능가함을 입증한다. 우리 프로젝트는 다음에서 확인할 수 있다: https://github.com/thiamine128/PriorEdit3D.