일간 논문

오픈 월드에서의 로봇 조작은 장면이 어떻게 보이는지 인식하는 것뿐만 아니라, 상호작용 하에서 3차원 구조가 어떻게 움직일지 예측하는 것을 요구한다. 본 논문에서는 동기화된 RGB, 깊이, 옵티컬 플로우, 즉 RGB-DF가 장면의 근본적인 4D 동역학을 포착하는 물리적으로 기반한 표현을 제공한다고 주장한다. 2D 픽셀 비디오와 비교하여, 이러한 멀티모달 시너지는 시각적 외형을 기하학적 구조 및 시간적 움직임과 정렬시켜, 로봇 시스템이 요구하는 저수준 엔드 이펙터 동작에 훨씬 가까운 표현 공간을 생성함으로써 세계 예측과 정책 학습 간의 격차를 좁힌다. 이러한 통찰을 바탕으로, 단일 RGB-D 이미지와 언어 명령으로부터 미래의 RGB 프레임, 깊이 맵, 옵티컬 플로우를 하나의 통합된 확산 과정 내에서 공동 생성하는 생성 모델인 RynnWorld-4D를 소개한다. 이 4D 월드 모델은 크로스모달 어텐션을 프레임별 3D RoPE와 통합하는 삼중 분기 아키텍처를 특징으로 하여, 외형, 기하학, 움직임이 일관되게 진화하도록 보장한다. 대규모 훈련 데이터를 공급하기 위해, 우리는 2억 5440만 프레임 이상의 자아중심 인간 및 로봇 조작 비디오에 깊이와 옵티컬 플로우에 대한 고품질 의사 레이블을 갖춘 대규모 데이터셋인 Rynn4DDataset 1.0을 구축했다. 또한, RynnWorld-4D의 내부 4D 표현을 단일 순방향 패스에서 소비하여 비용이 많이 드는 다단계 노이즈 제거를 우회하고, 폐쇄 루프 방식으로 로봇 동작을 출력하는 역동역학 헤드인 RynnWorld-4D-Policy를 제안한다. 실험 결과, RynnWorld-4D는 시간적 및 공간적으로 일관된 4D 예측을 생성하며, RynnWorld-4D-Policy는 실제 세계의 정밀한 양손 조작 작업, 특히 공간적 정밀도와 시간적 조정을 요구하는 작업에서 최첨단 성능을 달성함을 보여준다.

게임 세계는 전통적으로 노동 집약적인 생산 파이프라인을 통해 구축되어 왔으며, 이로 인해 개발 비용이 많이 들고, 맞춤화가 어렵고, 배포 후 수정에 많은 비용이 소요된다. 최근 비디오 월드 모델의 발전은 근본적으로 다른 패러다임을 제공한다. 이러한 모델들은 가상 환경의 모든 구성 요소를 명시적으로 제작하는 대신, 현재 세계 상태와 사용자 상호작용에 기반하여 미래 관찰을 자기회귀적으로 합성함으로써, 플레이 가능한 세계를 온라인으로 생성할 수 있게 한다. 게임플레이 기록과 실제 세계 비디오 모두에 대해 훈련된 이 모델들은 다양한 시각적 외관과 물리적 동역학을 포착할 수 있으며, 이는 게임을 넘어 구현된 지능을 포함하는 대화형 애플리케이션에 새로운 기회를 열어준다. 본 논문에서는 대화형 생성 세계를 구축하기 위한 풀스택 오픈소스 프레임워크인 AlayaWorld를 제시한다. AlayaWorld는 개방형 실시간 상호작용을 가능하게 하여, 사용자가 자유롭게 탐색하고 전투, 주문 시전, 몬스터 소환과 같은 다양한 행동을 수행할 수 있게 한다. 이 프레임워크는 데이터 준비, 모델 아키텍처, 모델 훈련, 추론 가속화 및 배포에 이르는 완전한 개발 과정을 모듈식 및 확장 가능한 아키텍처 내에서 통합한다. 프레임워크와 함께, 우리는 재현 가능한 파이프라인, 참조 구현, 평가 도구 및 포괄적인 문서를 공개함으로써, 생성적 월드 모델의 향후 연구 및 실시간 애플리케이션을 위한 실용적인 기반을 마련한다.

로봇 학습의 확장에는 방대하고 다양한 궤적 데이터가 필요하지만, 현재 데이터 수집은 물리적 원격 조작(teleoperation)에 의해 병목 현상이 발생하고 있으며, 이 경우 모든 시연(demonstration)이 작업자의 시간을 특정 하드웨어와 작업 공간에 묶어 놓습니다. 우리는 디지털 원격 조작(digital teleoperation)이라는 패러다임을 소개합니다. 이는 실제 로봇을 생성적 세계 모델(generative world model)로 대체함으로써 데이터 수집을 물리적 제약으로부터 분리합니다. 이 프레임워크에서 작업자의 손 자세( hand-pose) 스트림은 로봇 중심의 생성적 세계 모델을 구동하여 단일 참조 이미지로부터 고충실도 1인칭 비디오를 합성합니다. 기록된 자세 스트림은 구현 방식에 구애받지 않는(embodiment-agnostic) 행동 레이블 역할을 하며, 표준 리타겟팅(retargeting)을 통해 모든 대상 로봇으로 전송 가능하여 물리적 하드웨어와 무관한 완전한 상태-행동 궤적을 모방 학습에 제공합니다. 우리는 이 패러다임을 RynnWorld-Teleop 시스템으로 구현합니다. 이 시스템은 깊이 인식 골격 조건화(depth-aware skeletal conditioning), 비디오 확산 트랜스포머(Diffusion Transformer)에 대한 점진적 인간-로봇 훈련, 그리고 스트리밍 자동회귀 증류(streaming autoregressive distillation)를 통합합니다. 이 파이프라인은 생성 과정을 단일 패스 추론으로 압축하여 단일 H100 GPU에서 40FPS 이상의 실시간 대화형 생성을 가능하게 합니다. RynnWorld-Teleop이 생성한 데이터만으로 훈련된 정책(policy)은 정교하고 다양한 양손 작업에서 효과적인 제로샷 Sim2Real 전이(zero-shot Sim2Real transfer)를 달성합니다. 또한 실제 세계 데이터셋을 당사의 디지털 원격 조작 데이터로 증강하면 성공률이 지속적으로 향상되어, RynnWorld-Teleop이 차세대 로봇 에이전트를 위한 고충실도이자 확장 가능한 데이터 엔진 역할을 함을 입증합니다.

현대 대규모 언어 모델(LLM)을 긴 컨텍스트로 확장하는 것은 이차 계산 비용과 밀집 어텐션의 열악한 길이 외삽으로 인해 제한된다. 청크 단위 희소 어텐션은 유망한 대안을 제공하지만, 기존 모든 방법은 부정확한 청크 선택으로 인해 완전 어텐션에 미치지 못한다. 본 논문에서는 언어 모델링(LM) 손실 하에서 종단간 청크 선택을 학습하는 청크 단위 희소 어텐션 메커니즘인 계층적 랜드마크 희소(HiLS) 어텐션을 제안한다. HiLS는 어텐션을 계층적으로 분해한다: 각 쿼리는 검색된 각 청크와 독립적으로 어텐션을 수행하여 청크별 정보를 추출하고, 결과 출력은 청크 검색 점수에 따라 융합된다. HiLS는 검색 점수를 순방향 어텐션 계산에 통합함으로써 LM 손실로 직접 최적화하여 종단간 검색 학습과 본질적 희소 학습을 가능하게 한다. 실험 결과는 HiLS-어텐션이 도메인 내 컨텍스트 길이에서 완전 어텐션에 필적하거나 일부 경우 더 나은 성능을 달성함을 보여준다. 동시에 HiLS-어텐션은 훈련 컨텍스트 길이의 64배 이상을 90% 검색 정확도로 외삽하며, 이는 완전 어텐션을 훨씬 능가한다. 또한, 기존 완전 어텐션 모델은 경량 지속 사전학습을 통해 HiLS-어텐션으로 변환될 수 있으며, 도메인 내 성능을 유지하면서 초장기 컨텍스트 외삽 능력을 획득한다. HiLS-어텐션은 희소 KV 접근 및 계산과 함께 일반적인 효율성-성능 트레이드오프를 깨뜨리며, 완전 어텐션 기반 모델보다 일반적인 장기 컨텍스트 작업에서 더 효율적이고 더 효과적인 장기 컨텍스트 LLM을 가능하게 한다.

우리는 컴퓨터 비전을 통합 다중 모드 생성(unified multimodal generation)으로 정식화하며, 이질적인 시각 작업들이 특정 작업에 특화된 아키텍처 없이 통합 다중 모드 모델의 고유한 텍스트 및 이미지 생성 공간에서 표현된다. 이러한 정식화 하에서 SenseNova-Vision은 자연어 명령과 선택적 시각 프롬프트를 사용하여 작업, 대상 영역 또는 뷰, 디코딩 규칙을 지정하고, 응답을 기호 출력을 위한 텍스트, 조밀한 공간 예측을 위한 이미지, 또는 구성적 작업을 위한 혼합 텍스트-이미지 출력으로 생성한다. 대규모 훈련을 지원하기 위해, 우리는 다양한 컴퓨터 비전 주석을 이러한 생성 공간과 호환되는 명령-응답 예제로 변환하여, 텍스트, 이미지 및 혼합 대상을 포괄하는 컴퓨터 비전 명령-응답 코퍼스인 SenseNova-Vision Corpus를 구축했다. 기성 사전 훈련된 통합 다중 모드 모델로부터 시작하여, SenseNova-Vision은 주로 이 코퍼스에서 훈련되며, 보조 다중 모드 데이터는 능력 보존 혼합물로 사용되며, 작업별 예측 헤드나 아키텍처 수정이 필요하지 않다. 결과 모델은 탐지, OCR, 키포인트 추정, 세분화, 깊이 추정, 표면 법선 예측, 포인트 맵, 카메라 포즈 추정을 포함한 광범위한 비전 작업을 다루며, 카테고리, 색상, 영역 및 기타 시각적 단서를 결합하는 언어 정의 변형을 지원한다. 실험 결과, 단일 통합 모델이 구조적 시각 이해, 조밀한 기하학적 예측, 세분화, 다중 뷰 시각 기하학에서 최고 수준의 작업 특화 시스템과 성능이 일치할 수 있음을 보여준다. 이러한 결과는 통합 다중 모드 생성이 컴퓨터 비전 기능을 범용 기반 모델에 통합하기 위한 확장 가능한 경로임을 시사한다. 모델과 코퍼스는 공개적으로 이용 가능하다.

Gemma 4를 소개합니다. 이는 Gemma 모델 제품군 내 새로운 세대의 개방형 가중치, 네이티브 멀티모달 언어 모델입니다. 컴퓨팅 효율성과 추론 능력 향상을 위해 설계된 Gemma 4 모델 제품군은 23억에서 310억 매개변수 범위의 밀집 및 혼합 전문가(Mixture-of-Experts) 아키텍처를 갖추고 있습니다. 모든 모델 크기에 대해 개선된 비전 및 오디오 인코더와 함께, 120억 매개변수 모델을 위해 원시 오디오와 이미지 패치를 입력으로 받는 통합된 인코더 없는 아키텍처를 제안합니다. 또한 사고 모드를 통합하여 Gemma 모델이 응답 전에 추론 과정을 생성할 수 있도록 합니다. 중요한 설계 선택을 통해 추론 속도, 메모리 및 컴퓨팅 효율성은 물론 장기 컨텍스트 능력도 개선했습니다. Gemma 4는 STEM, 멀티모달 및 장기 컨텍스트 벤치마크에서 성능 도약을 이루었으며, 인간 평가 작업에서 더 크고 최첨단의 개방형 모델과 경쟁합니다.

에이전트 기반 비디오 이해(Agentic video understanding)는 모델에 장기 기억을 부여하여 지속적이고 장기적인 멀티모달 스트림을 자율적으로 처리하고 응답하도록 한다. 그러나 고급 비디오 에이전트는 종종 행동 제어(예: 검색)와 증거 수집을 위해 "탐정 스타일"의 반복적 추론에 의존하여 과도한 비용과 지연 시간을 초래한다. 본 논문은 이러한 무거운 추론이 주로 검색에서의 전역적 맥락 부족과 의미론적 정렬 오류를 보완하기 위한 것임을 주장한다. 본 논문에서는 반사적이고 가벼운 비디오 이해를 위한 멀티모달 에이전트 프레임워크인 Light-Omni를 소개한다. 이는 단일 순방향 패스에서 필요한 맥락을 즉시 구축하는 이중 맥락 상태(dual contextual states)를 통해 이를 달성한다. 첫째, 에피소드 기억(episodic memory)으로부터 지속적으로 통합된 유한 크기의 멀티모달 스크립트인 전역 상태(global state)를 유지하여 Light-Omni의 전역적 맥락으로 활용한다. 계층적 병합(hierarchical merging)을 통해 과거 사건을 요약하면서 최근 세부 사항을 보존한다. 둘째, 이 전역적 맥락을 조건으로 하여 최소한의 지연 시간으로 자율적 행동을 직접 구동하고 검색 임베딩을 생성하는 파라메트릭 잠재 상태(parametric latent state)를 생성한다. 이러한 결합 설계의 이점을 통해 Light-Omni는 반복적 추론을 피하면서 의미론적으로 정렬된 검색과 반사적 응답을 달성한다. 광범위한 실험을 통해 여러 비디오 벤치마크에서 Light-Omni의 효과성을 검증했다. 특히, 평균 정확도 2.4% 향상, 12.1배 속도 향상, GPU 메모리 효율성 2.6배 개선을 달성하며 M3-Agent를 능가한다. 또한, 기존 MLLM의 성능과 효율성을 모두 향상시키는 메모리 시스템으로도 기능한다. 프로젝트 페이지: https://clare-nie.github.io/Light-Omni.

투기적 디코딩은 드래프트 생성을 타겟 검증에서 분리함으로써 대형 언어 모델(LLM) 추론을 가속화한다. 최근의 병렬 드래프터는 단일 순방향 패스에서 긴 토큰 시퀀스를 효율적으로 제안하지만, 토큰 간 의존성 부족으로 인해 급격한 수용률 감소를 겪는다. 더욱이, 이러한 확장된 블록을 무차별적으로 검증하는 것은 위험도가 높은 토큰에 중요한 배치 용량을 낭비하여, 높은 동시성을 가진 서빙 시스템에서 처리량을 심각하게 저하시킨다. 본 논문에서는 높은 처리량의 병렬 생성과 적응형 부하 인식 검증을 통합한 투기적 디코딩 프레임워크인 DSpark를 소개한다. 드래프트 품질을 유지하기 위해 DSpark는 반자기회귀 아키텍처를 활용하여, 병렬 백본을 경량 순차 모듈과 결합함으로써 블록 내 의존성 모델링을 도입하고 접미사 감쇠를 완화한다. 시스템 효율성을 최적화하기 위해 DSpark는 신뢰도 기반 검증을 사용하여, 각 요청에 대해 추정된 접두사 생존 확률과 엔진별 처리량 프로파일을 기반으로 검증 길이를 동적으로 조정한다. 다양한 도메인의 오프라인 벤치마크에서 DSpark는 최신 자기회귀 및 병렬 드래프터에 비해 수용된 길이를 크게 향상시킨다. 실시간 사용자 트래픽 하에서 DeepSeek-V4 서빙 시스템에 배포되었을 때, DSpark는 검증 낭비를 성공적으로 완화한다. 기존 프로덕션 기준인 MTP-1과 비교하여, DSpark는 동일한 처리량 수준에서 사용자당 생성 속도를 60~85% 가속화한다. 더욱 중요하게는, 엄격한 상호작용성 제약 조건에서 심각한 처리량 저하를 방지함으로써, 이전에는 달성할 수 없었던 성능 계층을 가능하게 하여 서빙 시스템의 파레토 경계를 이동시킨다.

자율 에이전트를 위한 스킬 최적화가 주목받고 있지만, 기존 방법들은 복잡한 파이프라인에 의존합니다. 이로 인해 근본적인 질문이 제기됩니다: 모든 구성 요소가 이론이나 경험적 필요성에 의해 정당화되는, 스킬 최적화를 위한 최소 실행 가능 파이프라인은 무엇인가? 우리는 스킬 최적화를 0차(ZO) 최적화를 통해 정형화하여, 고전적 방법(중앙 차분, 신뢰 영역)을 최신 문헌에 대응시킵니다. 고전적 ZO에서의 맹목적 수치 섭동과 달리, 스킬 궤적은 해석 가능한 디버깅 피드백 역할을 한다는 점에 주목합니다. Claude Code 철학과 PAC 학습에 기반하여, 수렴 및 일반화를 위한 세 가지 원칙(파일 시스템 기반 궤적 탐색, 합의 속성 마이닝, 독립 검증 게이팅)을 수립합니다. 중복을 제거하여 SkillOpt-Lite를 제안합니다. 이는 수렴을 가속화하고 전체 SkillOpt보다 뛰어난 성능을 보여줍니다: LiveMath에서 GPT-5.5는 +8.8점, GPT-5.4-nano는 +25.4점 향상되어, nano 모델이 SkillOpt로 최적화된 표준 GPT-5.4를 능가합니다. 마지막으로, 우리 프레임워크를 VSCode Copilot과 같은 프로덕션 코딩 에이전트에 통합하여, 개발자가 한 줄의 바이브(vibe)로 에이전트 스킬을 진화시킬 수 있게 합니다. 우리 프레임워크는 모든 에이전트 구성 요소를 단순히 편집 가능한 표준 코드로 취급하기 때문에, 이 최소 파이프라인은 자연스럽게 전체 하네스 최적화(HarnessOpt)로 일반화됩니다. SpreadsheetBench에서 HarnessOpt는 GPT-5.4-nano가 0.7758의 정확도를 달성하여, 표준 파이프라인을 실행하는 더 큰 GPT-5.5(0.7620)를 능가합니다. 코드는 https://github.com/EvolvingLMMs-Lab/SkillOpt-Lite에서 확인할 수 있습니다.

밀집 비디오 캡셔닝은 비디오 이벤트에 대한 시간적으로 정렬된 설명을 생성하는 것을 목표로 하며, 이벤트 수준의 비디오 이해와 생성 모두에 이점을 제공합니다. 이 분야에서는 자기회귀적 비디오 대규모 언어 모델이 강력한 생성 및 교차 모달 모델링 능력으로 인해 널리 사용되는 패러다임으로 부상했습니다. 그러나 토큰 단위 패러다임 하에서 밀집 캡션을 생성하면 추론 효율성이 심각하게 저하되고, 비디오 길이와 이벤트 밀도가 증가함에 따라 확장성이 저해됩니다. 본 연구에서는 생성 효율성을 향상시킬 뿐만 아니라 시간적으로 정렬된 캡셔닝 성능도 개선하는 병렬화된 자기회귀 프레임워크를 제안합니다. 핵심 통찰은 시간적으로 구분되는 이벤트 간의 약한 지역적 의존성을 활용하여 인과 의존성 그래프를 재구성함으로써 무손실 병렬 생성을 가능하게 하는 것입니다. 구체적으로, 교차 이벤트 의존성이 약한 토큰은 병렬로 디코딩할 수 있는 반면, 각 이벤트 내에서 긴밀하게 결합된 토큰은 순차적 디코딩을 유지하여 지역적 의미 일관성을 보존합니다. 이 통찰을 실현하기 위해 무손실 병렬 디코딩을 위한 두 가지 핵심 구성 요소를 도입합니다. (1) 잠재적 전역 계획 메커니즘: 이는 이벤트 수준 구조를 자동으로 학습하고, 전역적 교차 이벤트 인과성을 인코딩하는 압축 토큰을 생성하며, 이벤트 수준의 시청각 의미론을 적응적으로 집계하여 후속 의존성 재구성 및 병렬 디코딩을 안내합니다. (2) 이벤트 분해 병렬 디코딩 메커니즘: 이는 지역적 초점과 전역적 교차 이벤트 인식을 효과적으로 균형 있게 조정합니다. 다양한 벤치마크 실험에서 제안된 접근 방식이 전방위 모달 이벤트 정렬 및 캡셔닝에서 효율성과 성능 모두에서 명확한 이점을 보여줍니다. 프로젝트 웹사이트: https://github.com/showlab/PadCaptioner.

최근 VLA 기반 모델의 발전에도 불구하고, 실험실 환경과 실제 응용 간의 격차는 여전히 실용적 구현을 저해하고 있다. 이러한 격차를 해소하기 위해, 우리는 LingBot-VLA 2.0을 제시한다. 이는 세 가지 기능적 영역의 개선을 통해 LingBot-VLA를 발전시킨 것이다. (1) 과제 및 구현체 간 일반화. 이전 버전과 비교하여, 데이터 처리 파이프라인을 재구성하고 사전 학습을 위해 약 60,000시간의 데이터를 수집하였으며, 이 중 50,000시간은 20가지 로봇 구성을 포괄하는 로봇 궤적 데이터이고 10,000시간은 에고센트릭 인간 비디오 데이터이다. (2) 이중 팔 하드웨어 플랫폼에 추가된 확장된 행동 공간. 특히, 우리 시스템은 헤드, 허리, 이동 베이스, 다자유도 손의 자유도를 수용함으로써 로봇이 실제 시나리오에서 더 복잡한 과제를 수행할 수 있도록 지원한다. (3) 향상된 시간적 추론을 위한 예측 역학 모델링. 구체적으로, 미래 예측을 대리 과제로 설정하고, 의미적 사전 정보를 위한 비디오 표현 모델과 기하학적 단서를 위한 깊이 추정 모델을 활용하여 이를 지원한다. 일반주의 환경에서 수행된 GM-100 벤치마크 평가는 이러한 제안된 수정 사항들의 긍정적 영향을 검증한다. 또한, 전신 자유도를 포괄하는 확장된 사전 학습 데이터의 이점을 바탕으로, LingBot-VLA-2.0은 두 로봇 플랫폼에 걸쳐 강력한 교차 구현체 장기 수평 이동 조작 능력을 입증한다.

온-정책 증류(On-policy distillation, OPD)는 학생 정책이 자체 궤적에서 더 강력한 교사를 모방하도록 훈련함으로써, 언어 에이전트 훈련을 위한 유망한 프레임워크를 제공한다. 그러나 장기적 에이전트 과제에 대한 적용은 충분히 탐구되지 않았다. 우리는 기본 에이전트 OPD에서 두 가지 주요 비효율성을 확인한다: (1) 전체 시간 범위 롤아웃은 약하고 잡음이 많은 KL 감독을 제공하는 후반부 단계에 실제 시간 자원을 낭비하는 경우가 많으며, (2) 궤적 수준 KL 목표는 손실의 대부분을 표면적 토큰에 집중시켜 초기 행동이 정렬된 후에는 더 깊은 의사 결정 단계가 충분히 훈련되지 않게 한다. 이러한 문제를 해결하기 위해 우리는 장기적 에이전트의 효율적인 온-정책 증류를 위한 단계 수준 예산 전략인 TurnOPD를 제안한다. TurnOPD는 두 가지 예산 제어기로 구성된다: 탐침 기반 단계 통계를 사용하여 롤아웃 길이를 결정하는 적응형 롤아웃 깊이 예산 설정과, KL 가중치를 토큰 수준 감독에서 단계 균형 감독으로 점진적으로 전환하는 점진적 단계 정규화 손실 예산 설정이다. ALFWorld, WebShop 및 다중 홉 검색에서 과제 특화 교사 모델을 사용한 실험 결과, TurnOPD는 동일한 실제 시간 학습 예산 하에서 우수한 검증 정확도를 달성하고 기본 OPD를 넘어서는 정확도-시간 경계를 개선함을 보여준다.

저희는 MentalThink를 소개합니다. 이는 멀티모달 대규모 언어 모델(MLLM)에 "정신적" 시각화를 위한 실행 가능한 메커니즘을 제공하는 시각-기호 추론 패러다임입니다. MentalThink의 핵심은 SVG 기반 사고 파이프라인(think-with-SVG pipeline)으로, 모델이 중간 시각적 표현으로서 확장 가능한 벡터 그래픽(SVG) 코드를 생성, 렌더링 및 해석하는 방법을 학습하여 다회차 추론을 수행합니다. 구조화된 벡터 스케치를 생성함으로써 모델은 공간적 가설을 외부화하고, 결정론적 렌더링을 통해 이를 검사하며, 제한된 기하학적 공간 내에서 추론하여 인간의 심상을 효과적으로 모방합니다. 본 패러다임은 두 단계의 훈련 프레임워크를 통해 구현되며, SVG 구문 정렬을 위한 지도 미세 조정(SFT)과 중간 시각적 가설의 반복적인 검사, 수정 및 개선을 장려하는 다회차 강화 학습(RL)을 결합합니다. 광범위한 평가를 통해 MentalThink는 공간 이해 및 추론 벤치마크(예: VSIBench 55.1%, MindCube 76.0%)에서 우수한 성능을 달성하여, 실행 가능한 벡터 그래픽이 동적 관점 전환, 시각적 반성 및 구성적 장면 구축을 위한 검증 가능한 시각적 작업 공간을 제공함을 보여줍니다.

검증 불가능한 명령 수행을 위한 강화 학습(RL)은 점차 프롬프트별 평가 기준을 가진 LLM 판정자를 보상 신호로 활용하고 있다. 최근 방법들은 훈련 중 진화하는 정책에 맞춰 이러한 평가 기준을 조정하지만, 훈련 프롬프트 자체는 고정된 코퍼스에서 추출된 정적인 상태로 남아 있다. 이러한 정적 접근 방식은 종종 프롬프트 난이도와 정책 성능 간의 심각한 부정합을 초래하며, 프롬프트가 롤아웃 간 품질 변동을 이끌어내지 못할 경우 판정자가 변별적 보상 신호를 복구할 수 없게 만든다. 이러한 부정합을 해결하기 위해, 우리는 LLM의 역할을 판정자에서 튜터로 확장하는 프레임워크인 LLM-as-a-Tutor를 제안한다: 단일 모델이 정책 롤아웃을 쌍별 비교하여 도전적이지 않은 프롬프트를 탐지하는 시험자 역할과, 이들에 원자적 제약 조건을 추가하는 생성자 역할을 동시에 수행한다. 이러한 추가 전용 설계는 정책의 성능에 맞춰 난이도를 단조롭게 증가시켜, 외부 난이도 일정 없이 자체 보정되는 훈련 신호를 생성한다. 세 가지 복잡한 명령 수행 벤치마크에서, 우리의 방법은 정책을 고려하지 않는 기준선과 평가 기준을 조정하거나 프롬프트를 재작성하는 기존의 정책 적응 방법들보다 일관되게 우수한 성능을 보였으며, 이는 검증 불가능한 강화 학습에서 프롬프트 적응이 정책 인식의 누락된 축임을 시사한다.

대규모 생성 모델의 최근 진전은 비디오 생성을 상당히 발전시켰지만, 기존 방법들은 여전히 경직된 추론 패러다임에 의해 제약을 받는다. 양방향 확산 모델은 전역적 일관성과 시각적 충실도에 뛰어나지만 추론 속도가 느린 반면, 자기회귀 모델은 효율적이고 스트리밍 방식의 생성을 제공하지만 장거리 일관성과 노출 편향을 희생한다. 우리는 Flex-Forcing을 소개한다. 이는 비디오 확산 모델이 양방향 및 자기회귀 생성 방식 모두에서 원활하게 작동할 수 있도록 하는 통합 훈련 및 추론 프레임워크이다. 핵심 아이디어는 시간 축과 노이즈 제거 단계에 걸쳐 공동으로 정의된 유연한 청킹 메커니즘이다. 이 설계는 모델이 (1) 다양한 장치 예산에 따라 유연한 청킹을 수행하고, (2) 전역 구조 계획을 위해 청크 간 양방향 추론을 수행하면서 각 청크 내에서는 프레임을 자기회귀적으로 생성하여 효율적이고 세밀한 합성을 수행하며, (3) 엄격한 인과적 제약 없이 임의 순서 및 임의 시간 단계의 자기회귀 생성을 수행할 수 있도록 한다. 여러 비디오 생성 벤치마크에 대한 광범위한 실험 결과, Flex-Forcing이 경직된 추론 일정을 가진 강력한 기준선보다 일관되게 더 나은 비디오 품질과 긴 비디오 안정성을 달성하면서 더 빠른 추론을 제공함을 보여준다.

복잡한 이미지 생성 및 편집은 단일 생성 또는 편집 모델만으로는 충분하지 않은 경우가 많습니다. 사용자 요청은 이미지 합성, 객체 위치 파악, 영역 분할, 선택 콘텐츠 편집, 중간 자산 합성, 텍스트 읽기, 최종 결과물 향상 등을 포함할 수 있습니다. 이러한 작업은 다중 모달 에이전트를 지각 기반 추론에서 조작 중심의 시각적 창작으로 전환시키며, 여기서 도구는 단순히 시각적 상태를 검사하는 대신 적극적으로 변환해야 합니다. 그러나 기존의 다중 모달 도구 사용 에이전트는 대부분 지각, 검색 또는 특정 도메인 편집에 최적화되어 있으며, 실행 가능한 이미지 생성 궤적에 대한 대규모 감독이 부족합니다. 본 논문에서는 복잡한 이미지 생성 및 편집을 위한 대규모 다중 모달 도구 사용 데이터셋인 CanvasCraft와, 다중 턴 상호작용을 통해 이기종 시각적 도구를 조율하는 방법을 학습하는 도구 증강 다중 모달 에이전트인 CanvasAgent를 소개합니다. CanvasCraft는 140K개의 완전 주석 처리된 실행 가능한 궤적과 10K개의 RL 작업 사양을 포함합니다. CanvasAgent는 먼저 SFT로 학습되어 실행 가능한 추론-행동 궤적을 학습한 후, 결과 수준 및 과정 수준 신호를 결합한 하이브리드 보상을 사용하는 GRPO로 최적화됩니다. 롤아웃 과정에서 CanvasAgent는 중간 결과를 검사하고, 시각적 자산을 추적하며, 진화하는 시각적 상태에 맞게 도구 결정을 조정합니다. 실험은 최종 이미지 품질과 궤적 행동을 모두 평가하여, 복잡한 다중 도구 이미지 생성 워크플로우에서 CanvasAgent와 제안된 데이터셋의 효과성을 입증합니다.

자기중심적(ego-centric) 3D 장면 생성에는 제한된 시점 중첩과 개별 시점이 장면 해석에 미치는 지배적 영향으로 인해 어려움이 남아 있다. 이러한 요인들은 시점 일관성 및 의미론적 정렬을 갖춘 시각적 콘텐츠의 생성을 저해할 뿐만 아니라 정확한 기하학적 구조의 구축을 방해한다. 본 논문에서는 3D 콘텐츠 인지도를 향상시키고 자기중심적 장면 생성에서의 기하학적 왜곡을 해결하기 위해 텍스트-3D 프레임워크인 CGGS를 제안한다. 첫째, 자기중심적 생성기(Ego-centric Generator)는 일관성 증강 손실로 다중 뷰 잠재 확산 모델을 미세 조정하여 텍스트 설명과 정렬된 일관되고 고충실도의 2D 콘텐츠를 생성하도록 설계된다. 다음으로, 레이아웃 데코레이터(Layout Decorator)는 광학 흐름과 점 추적 대응을 활용하여 깊이를 추정함으로써 자기중심적 2D 사전 정보로부터 대략적인 레이아웃으로서의 밀집 점군을 생성한다. 이러한 초기화를 기반으로, 기하학적 정제기(Geometric Refiner)는 엔트로피 기반 상호 정보 깊이 손실(MID)과 시각적 품질 및 기하학적 구조를 개선하기 위한 계층적 최적화 기법을 결합하여 3D 가우시안 재구성을 향상시킨다. 포괄적인 실험을 통해 CGGS가 텍스트 기반의 일관되고 정확한 3D 장면 생성에서 이전 방법들을 능가함을 입증한다. 프로젝트 페이지: https://cggs-26.github.io/cggs26/.

최첨단 단일 이미지 3차원 재구성 방법은 종종 복잡한 하이브리드 아키텍처와 손실 함수에 의존하거나, 사전 학습된 잠재 확산 모델을 활용하기 위해 기하학 정보를 잠재 공간으로 압축한다. 본 연구에서는 이러한 아키텍처 오버헤드와 복잡한 손실 공식이 불필요함을 보여준다. 우리는 일반 ViT(비전 트랜스포머) 기반의 미니멀리스트 픽셀 공간 확산 트랜스포머를 도입하며, 이는 원시 3차원 포인트 맵 패치에 직접 작동하고 사전 학습된 DINOv3의 이미지 토큰에 의해 조건화된다. 기존의 잠재 확산 접근법과 달리, 우리는 확산 백본을 처음부터 완전히 학습시켜 포인트 맵 토크나이저의 필요성을 제거한다. 단순함에도 불구하고, 우리의 접근법은 복잡한 잠재 기반 확산 모델을 능가하면서 하이브리드 대안보다 현저히 단순하다. 특히, 더 선명한 기하학적 구조를 생성하며 투명 객체와 같이 모호성이 높은 영역에서 더 견고하다.

여기 Nemotron-Labs-Diffusion, 즉 단일 아키텍처 내에서 자기회귀(AR), 확산(diffusion), 자기 추측 디코딩(self-speculation decoding)을 통합한 삼중 모드 언어 모델을 소개한다. 공동 자기회귀-확산 목적 함수로 학습된 Nemotron-Labs-Diffusion은 배포 환경과 동시성 수준에 따라 모드를 전환하여 높은 처리량을 유지할 수 있다. 본 연구는 다음을 보여준다. (1) 자기회귀와 확산 목적 함수는 상호 보완적이다. 확산은 선견 계획을 개선하고, 자기회귀는 좌측에서 우측으로의 언어적 사전 정보를 제공한다. (2) 자기 추측 모드에서 확산이 초안을 작성하고 자기회귀가 검증할 때, 다중 토큰 예측(MTP) 방법보다 수용률과 실제 장치 효율성 모두에서 우수한 성능을 보인다. (3) 광속 분석은 확산의 장기적 잠재력을 추가로 입증하며, 최적 샘플러 사용 시 순방향 전달당 자기 추측보다 최대 76.5% 더 많은 토큰을 생성한다. 3B, 8B, 14B 파라미터로 확장한 당사의 Nemotron-Labs-Diffusion 제품군(기본 모델, 명령어 모델, 시각-언어 모델 포함)은 정확도와 속도 모두에서 최첨단 오픈소스 자기회귀 및 확산 언어 모델을 지속적으로 능가한다. 예를 들어, Nemotron-Labs-Diffusion-8B는 Qwen3-8B와 비슷한 정확도로 순방향 전달당 6배 더 많은 토큰을 디코딩하며, GB200 GPU에서 SGLang을 사용한 SPEED-Bench에서 4배 더 높은 처리량으로 이어진다.

그룹 상대 정책 최적화(GRPO)는 현재 정책이 이미 유용한 추론 궤적을 샘플링할 때 효과적이지만, 올바른 해결 모드가 학생의 온-정책 지원 범위(on-policy support) 밖에 있는 어려운 프롬프트에서는 정체됩니다. 본 논문에서는 모방이 아닌 탐색 지원 확장을 위해 증류를 사용하는 간단한 단계적 절차인 TREK(Teacher-Routed Exploration via Forward KL)을 제안합니다. TREK의 주요 장점은 일반성입니다. 검증된 출력 궤적만 소비하기 때문에 외부 블랙박스 교사, 화이트박스 교사, 또는 추가 추론 시간 컨텍스트가 주어진 동일한 모델을 사용할 수 있으며, 교사 내부 정보를 사용할 수 없는 경우에도 어떤 어려운 프롬프트 샘플이 통합에 가장 가치 있는지 효율적으로 식별할 수 있습니다. TREK는 먼저 지원을 받지 않은 학생의 통과율이 매우 낮은 프롬프트를 식별하고, 제안 소스에 검증된 후보 해결책을 생성하도록 요청한 후, 현재 학생 가능도에 따라 상위 r개의 제안을 유지하고, 짧은 순방향 KL(forward-KL) 단계를 적용하여 이러한 검증된 모드를 학생의 지원 범위로 끌어들인 다음, 표준 온-정책 GRPO 정제로 돌아갑니다. 수학적 추론에서 DeepSeek-V4 제안을 사용한 TREK는 모든 테스트된 규모의 Qwen3 모델에 대해 AIME 2024 및 AIME 2025에서 성능을 향상시킵니다. Qwen3-8B의 경우 AIME 2025에서 36.9에서 40.3으로, AIME 2024에서 47.9에서 51.1로 향상되었으며(avg@16), 자체 컨텍스트 변형은 외부 교사 없이 38.5와 49.6에 도달합니다. 에이전트 과제에서 TREK는 ALFWorld 성공률을 75.8에서 82.8로, ScienceWorld 성공률을 12.5에서 26.7로 향상시킵니다. 특히 가장 어려운 과제 유형에서 TREK는 훈련 초기에 높은 성공률을 달성하는 반면, 지원되지 않은 GRPO는 유사한 수준에 도달하기 위해 훨씬 더 많은 최적화 단계가 필요합니다.

우리는 Rank-Then-Act (RTA)를 소개한다. 이는 환경 보상 없이 전문가 비디오 시연으로부터 제어 정책을 학습하기 위한 프레임워크이다. RTA는 그룹 상대 정책 최적화(GRPO) 목적 함수를 사용하여 비전-언어 모델(VLM)을 오프라인에서 진행 기반 서수 점수기로 훈련시키며, 이때 셔플된 프레임 시퀀스에 대해 모델이 단순한 시간 신호가 아닌 시각적 의미론으로부터 시간적 순서를 복원하도록 강제한다. 중요한 점은, 점수기를 직접 스칼라 보상 모델로 사용하는 대신, 우리는 강화 학습을 위한 상관 기반 보상 함수를 제안한다: 각 상호작용 윈도우에서 예측된 진행 순위와 실제 시간 인덱스 간의 스피어만 순위 상관계수를 계산하여, 유계이고 스케일에 불변하는 학습 신호를 얻는다. 이 설계는 보상 학습을 절대적 보정으로부터 분리하며, 작업 및 환경 간 안정적인 전이를 가능하게 한다. 우리는 RTA를 이산 제어 벤치마크(PyBoy: Catrap, Kirby)와 연속 제어 작업(PointMaze, MetaWorld)에서 평가한다. RTA는 기존 비디오 기반 보상 학습 방법 및 순위 기반 기준선과 일치하거나 능가하는 성능을 지속적으로 보여주며, 단일 사전 훈련된 진행 점수기의 작업 간 재사용이 강력함을 입증한다. 우리의 결과는 비디오에서 파생된 순서 신호에 대한 상관 구조화된 감독이 정책 학습에 충분하며, 명시적 보상 설계에 대한 확장 가능한 대안을 제공함을 시사한다.

MaxSim 유사도 함수를 사용하는 후기 상호작용 검색 모델은 단일 벡터 밀집 검색 모델이나 희소 검색 모델을 종종 능가하는 강력한 경험적 성능을 보여주었다. 이러한 경험적 발견에도 불구하고, MaxSim의 이론적 표현력과 이것이 다른 검색 접근법과 어떻게 비교되는지에 대해서는 거의 알려져 있지 않다. 본 논문은 구성적 증명을 통해 MaxSim 유사도가 잠재적으로 무한한 차원을 가진 임의의 두 개의 음이 아닌 k-희소 벡터 간의 내적을 정확히 복제할 수 있으며, 오직 O(k)의 표현 공간만을 필요로 함을 보여준다. 더욱이, MaxSim이 표현할 수 있는 유사성이 존재하는 반면, 동일한 표현 공간을 가진 표준 벡터 내적은 이를 표현할 수 없다. 우리의 이론적 프레임워크를 활용하여, 우리는 후기 상호작용 모델이 임의의 실수 값 내적을 정확히 복제할 수 있도록 하는 부호 있는 MaxSim(Signed MaxSim)을 소개하며, 이는 표준 MaxSim으로는 불가능함을 증명한다. 또한 MaxSim이 소프트 OR 연산의 집합체로 작용할 수 있으며, 양의 연언 정규형(positive Conjunctive Normal Form)의 논리식 평가자로 기능할 수 있음을 보여준다. 우리의 발견은 MaxSim이 임의의 음이 아닌 벡터에 대해 표준 벡터 내적만큼의 능력을 가지며, 우리의 확장인 부호 있는 MaxSim은 임의의 벡터에 대해 그와 동등한 능력을 가짐을 보여준다. 두 유사도 모두 내적이 복제할 수 없는 추가적인 능력을 지니며, 이는 후기 상호작용 방법에 대한 최초의 이론적 정당화 및 정량화 중 하나에 해당한다. 우리의 이론적 발견은 경험적으로 뒷받침된다: 부정어를 포함한 질의가 있는 검색 작업에서, 부호 있는 MaxSim은 표준 ColBERT/MaxSim 기준선 대비 도메인 외 성능을 크게 향상시켰으며, 어휘 이동 하에서 nDCG@10이 0.597에서 1.000으로 증가했고, 부정어 전용 질의에 대해서는 0.008에서 0.788로 증가했다.

LLM 에이전트는 과거 경험을 저장하고 재사용하기 위해 점차 검색 버퍼에 의존하고 있지만, 이러한 버퍼를 관리하는 캐시 관리 정책은 대부분 임시방편적인 수준에 머물러 있다. 우리는 이 문제를 전환 비용이 포함된 온라인 의미론적 캐시 교체 문제로 공식화한다. 여기서 항목은 임베딩 유사도로 매칭되며, 적중 품질은 이진(binary)이 아닌 연속적인 값을 가진다. MemoryBench-Full의 두 데이터셋(LoCoMo, DialSim)에 대해 8가지 교체 정책을 실험한 결과, 놀라운 사실을 발견했다: 고전적 휴리스틱(LRU, LFU)은 시간적 지역성(temporal locality)과 빈도 집중도(frequency concentration)가 부재하기 때문에 의미론적 작업 부하에서 단순한 FIFO 기준선보다 일관되게 낮은 성능을 보인다. 우리는 학습 기반 프레임워크인 SOLAR를 제안한다. 이 프레임워크는 후회 누적(regret accumulation)으로부터 수정 시점을 도출하고(약 17%의 수정률 달성), 암시적 검색 피드백에 대한 베이지안 온라인 학습(Bayesian online learning)을 통해 내용 선택을 수행한다. 우리는 SOLAR가 캐시 크기와 시간 지평(horizon)에 독립적인 상수 경쟁비(competitive ratio) ≤ 3을 달성함을 증명한다(FIFO의 Ω(K)와 대조적). 또한 퇴출 후회(eviction regret)가 O(KT log T)임을 보여주며, 이는 Ω(KT) 하한을 로그 인자까지 일치시킨다. 실험 결과, 빡빡한 캐시 크기에서 FIFO 대비 5~75%의 상대적 개선을 보였으며, 작업 집합(working set) 경계에서 명확히 특성화된 상전이(phase transition)가 관찰되었다. 5000개 항목 풀(pool)을 사용한 합성 실험에서는 풀 크기와 검색 품질 간의 역U자형 관계(inverted-U relationship)가 추가로 드러났으며, 이는 용량 제약이 저장 한계가 아닌 검색 잡음 현상(retrieval noise phenomenon)임을 입증한다.

수학적 추론은 추론용 대규모 언어 모델(LLMs)을 평가하고 조정하기 위한 핵심 과제가 되었지만, 기존 벤치마크는 사전 학습 코퍼스와 평가 스위트 모두에서 영어와 중국어가 지배하는 고자원 언어에 크게 편향되어 있다. 최근 공개된 PolyMath(Wang et al., 2025) 데이터셋은 중요한 진전을 나타내지만, 그 범위는 여전히 18개의 고자원 언어로 제한되어 있다. 이러한 격차를 해소하기 위해 우리는 PolyMath를 6개 어족에 속하는 18개의 추가 저대표 언어(중간 자원부터 극저자원 설정까지 포함)로 확장한 PluraMath를 소개한다. 우리는 원어민이 사전 계산된 번역을 철저히 검증하는 인간 큐레이션 파이프라인을 통해 데이터셋을 구축했다. 이후 PluraMath를 사용하여 소형, 중형, 대형, 폐쇄형 앙상블의 네 가지 모델 규모에 걸쳐 27개의 추론용 LLM을 벤치마킹함으로써, 다양한 언어 조건에서 최신 모델의 다국어 수학적 추론 능력을 탐구했다. 우리의 세부 분석은 고자원 언어와 저대표 언어 간 수학적 추론 성능에 지속적인 격차가 존재함을 확인했으며, 더 강력한 결과는 대체로 더 나은 명령 수행 능력과 관련이 있었다. 우리는 데이터셋, 데이터 수집 파이프라인, 평가 프레임워크를 완전히 오픈소스로 공개하여, 저대표 커뮤니티의 다국어 벤치마크 개발 장벽을 낮추는 것을 목표로 한다.

다중 모드 대규모 언어 모델(MLLM)은 시각 및 언어 정보를 진화하는 맥락에서 통합하며 자기회귀적으로 응답을 생성한다. 해석 가능성에 대한 기존 연구는 개별 층과 회로(어디서)에 초점을 맞춰 왔으며, 생성 중 다중 모드 계산의 토큰 수준 동역학(언제)은 충분히 탐구되지 않았다. 본 연구는 이러한 간극을 해소하고 의미 역할에 따른 주의 전환을 분석하며, 모델이 이미지, 텍스트, 명령어, 이전에 생성된 토큰에 주의를 기울이는 양상을 한 번에 하나의 토큰(One Token at a Time, OTaT) 방식으로 추적한다. 단일 응답 내에서 시각적 맥락과 텍스트 맥락 간 명시적 전환이 필요한 다중 모드 과제를 도입한다. 두 가지 주류 모델 계열과 네 가지 공개 가중치 MLLM(서로 다른 크기)에 걸쳐 일관된 패턴을 확인한다. 이미지에 대한 주의는 이미지에서 유래한 정보가 필요한 토큰에서 최고조에 달하며, 명령어 토큰은 작업 전환 중 재방문되고, 이전에 생성된 토큰에 대한 주의는 생성이 진행됨에 따라 증가한다. 인과적 주의 차단 개입을 통해 이러한 경향의 기능적 역할을 검증한다. 주의가 방해받은 상황에서의 모델 행동을 특성화하며, 응답이 언어 사전 지식으로 회귀하거나 교차 모드 누출, 거부, 복구를 보이는 현상을 관찰한다. 마지막으로, 새로운 분석을 통해 밝혀낸 주의 동역학을 바탕으로 적시에 관련 모드에 대한 주의를 강화하는 간단한 테스트 시간 개입을 제안하며, 이를 통해 다중 모드 작업 성능을 크게 향상시킨다.

계층적 VLA(Hierarchical Vision-Language-Action) 모델은 고수준 계획과 저수준 제어를 분리하여 로봇 조작의 일반화 성능을 향상시킨다. 이 패러다임의 최근 연구는 비전-언어 모델(VLM)이 예측한 2D 엔드 이펙터 궤적을 하위 정책의 명시적 가이드로 사용한다. 그러나 최첨단 저수준 정책은 포인트 클라우드 상의 3D 미터법 공간에서 작동하며, 깊이가 없는 2D 가이드를 입력하면 각 웨이포인트가 그 아래에 있는 장면 표면의 깊이를 할당받아 기하학적으로 왜곡된 궤적이 생성된다. 본 논문에서는 계획기가 직접 미터법적으로 신뢰할 수 있는 3D 궤적을 출력하도록 하여 이 격차를 해소하는 계층적 프레임워크인 3D HAMSTER를 제안한다. 전용 깊이 인코더와 조밀한 깊이 재구성 목적 함수를 VLM에 추가하여 3D 웨이포인트 시퀀스를 예측하고, 이를 포인트 클라우드 기반 저수준 정책에 직접 통합한다. 3D 궤적 예측, 시뮬레이션 및 실제 조작에서 3D HAMSTER는 독점 VLM 및 2D 가이드 기반 방법보다 일관되게 우수한 성능을 보이며, 특히 외관 변화 및 보지 못한 언어, 공간, 시각 조건에서 가장 큰 성능 향상을 보인다. 프로젝트 페이지는 https://davian-robotics.github.io/3D_HAMSTER/에서 확인할 수 있다.

저희는 HunyuanOCR-1.5를 소개합니다. 이는 경량의 엔드투엔드(end-to-end) OCR 특화 비전-언어 모델입니다. HunyuanOCR은 문서 파싱, 텍스트 스포팅, 정보 추출, 텍스트-이미지 번역, 다중 이미지 문서 이해를 단일 엔드투엔드 VLM으로 통합합니다. HunyuanOCR-1.0의 경량 아키텍처를 기반으로 구축된 HunyuanOCR-1.5는 백본(backbone)을 재설계하지 않고 효율성과 성능을 모두 체계적으로 개선했습니다. 효율성 측면에서는 DFlash를 OCR 디코딩에 적용하여 출력 분포를 유지하면서 밀집 문서, 표, 수식과 같은 긴 구조적 출력의 지연 시간을 크게 줄였습니다. DFlash를 기반으로 HunyuanOCR-1.5는 Transformer 추론에서 6.37배, vLLM 환경에서 2.14배의 속도 향상을 달성하여 경량 OCR VLM 중 가장 빠른 추론 속도를 제공합니다. 성능 측면에서는 에이전트 기반 데이터 구축 시스템인 Agentic Data Flow를 제안하여 모델의 약점을 실행 가능한 데이터 요구 사항으로 변환하고, 재료 검색, 품질 검증, 파이프라인 개발을 자율적으로 수행합니다. 이를 통해 고대 문자 OCR, 세분화된 차트 및 표 파싱, 다중 이미지 텍스트 중심 QA, 저자원 다국어 파싱, 문서 환각 평가와 같은 롱테일(long-tail) 성능을 크게 향상시켰습니다. HunyuanOCR-1.5는 OmniDocBench v1.6에서 최상위 엔드투엔드 OCR 솔루션 중 하나로 평가되며, 이러한 롱테일 작업에서 새로운 성능 이정표를 달성했습니다. 업그레이드된 사전 학습 및 사후 학습 레시피(recipe)와 결합하여 HunyuanOCR-1.5는 고해상도, 장문맥(long-context), 다중 작업 시나리오에서 성능을 더욱 확장합니다. 실험을 통해 더 빠른 추론, 더 넓은 OCR 성능 커버리지, 경량 엔드투엔드 모델의 배포 이점을 입증했습니다. 향후 연구와 실제 OCR 애플리케이션을 지원하기 위해 모델 가중치와 학습 코드를 공개할 예정입니다.

강화학습(RL)은 대규모 언어 모델(LLM)의 사후 훈련(post-training)에서 핵심적인 구성 요소가 되었지만, RL 적응이 트랜스포머 계층 간에 어떻게 분포하는지는 거의 알려져 있지 않다. 기존 접근법은 일반적으로 모든 모델 매개변수를 균일하게 업데이트하며, 각 계층이 RL 사후 훈련에서 얻은 성능 향상에 유사하게 기여한다고 암묵적으로 가정한다. 본 연구에서는 이러한 가정에 도전하여, 체계적인 트랜스포머 계층별 RL 훈련 연구를 수행한다. 놀랍게도, 단일 트랜스포머 계층만 훈련하더라도 전체 매개변수 RL 훈련으로 달성된 성능 향상의 대부분을 회복할 수 있으며, 경우에 따라서는 이를 능가하기도 한다. 이러한 현상을 정량화하기 위해, 우리는 계층 기여도(layer contribution)라는 지표를 도입한다. 이는 단일 계층을 독립적으로 훈련했을 때 회복된 전체 RL 성능 향상의 비율을 측정한다. 두 모델 계열(Qwen3, Qwen2.5), 세 가지 RL 알고리즘(GRPO, GiGPO, Dr. GRPO), 그리고 수학적 추론, 코드 생성, 에이전트 기반 의사 결정을 포함한 여러 작업 영역에 걸쳐 일곱 가지 모델을 실험한 결과, 놀랍도록 안정적인 패턴이 관찰되었다. RL 성능 향상은 소수의 트랜스포머 계층, 많은 경우 단일 계층에 매우 집중되어 있다. 더욱 놀라운 점은, 높은 기여도를 보이는 계층이 트랜스포머 스택의 중간 부분에 집중되고, 입력 및 출력 부분에 가까운 계층은 기여도가 현저히 낮다는 동일한 구조적 패턴이 일관되게 나타난다는 것이다. 이러한 계층 순위는 데이터셋, 작업, 모델 계열, RL 알고리즘에 걸쳐 강한 상관관계를 유지한다.

코딩 에이전트들은 실제 소프트웨어 이슈에 대해 점차적으로 풀 리퀘스트(PR)를 생성하고 있지만, 원샷 PR 생성은 여전히 개방 루프 상태에 머물러 있다. 즉, 체계적인 검토, 진단 또는 수정 없이 PR이 제안된다. 본 논문에서는 이러한 루프를 에이전트 기반 코드 리뷰로 폐쇄하는 프레임워크인 SWE-Review를 소개한다. 주어진 이슈와 AI가 생성한 PR에 대해 리뷰어 에이전트가 레포지토리를 탐색하고, 해당 PR을 수락할지 결정하며, 수정을 위한 구조화된 피드백을 제공한다. 우리는 본 설정을 제안한 SWE-Review-Bench를 통해 리뷰 정확성과 하류 수정 유용성을 모두 측정하여 평가한다. 또한, 에이전트 기반 리뷰의 광범위한 적용을 연구하고 개방형 리뷰어 학습을 위한 데이터 부족 문제를 해결하기 위해 SWE-Review-Traj 데이터셋을 구축한다. 실험 결과, 에이전트 기반 리뷰는 생성-검토-수정 루프를 통해 PR을 지속적으로 개선하며, 단일 턴 고정 컨텍스트 리뷰보다 결정 정확도와 수정 후 해결률 모두에서 우수한 성능을 보인다. 또한, 리뷰를 넘어 이슈 해결 모델 개선으로 전이되며, 효과적이고 효율적인 테스트 시간 확장을 가능하게 한다. 이러한 결과는 에이전트 기반 코드 리뷰가 AI 코딩 에이전트를 원샷 PR 생성에서 폐루프 이슈 해결로 전환하는 실용적인 메커니즘임을 보여준다.

시청각 예술은 영화, 시각 예술, 무대 공연, 게임 디자인 등 다양한 창의적 분야를 아우르며, 예술적 의미는 시각, 청각, 서사 요소의 의도적인 결합(예: 폐쇄적 프레이밍을 통한 공포 증폭, 침묵과 긴 클로즈업을 통한 슬픔 전달)에서 발생한다. 진정한 예술 이해는 묘사된 내용을 인식하는 것을 넘어, 특정 창의적 선택을 통해 그것이 왜 표현되었는지 추론하는 데까지 이른다. 다중 모달 대규모 언어 모델(MLLM)의 눈부신 발전에도 불구하고, 예술 이해의 이러한 핵심 측면은 여전히 충분히 탐구되지 않았으며, 기존 벤치마크는 주로 지각적 인식을 측정하면서 창의적 의도에 대한 추론은 간과하고 있다. 이러한 격차를 해소하기 위해 우리는 Musebench를 소개한다. 이는 MLLM의 미묘한 예술 이해도를 평가하도록 설계된 포괄적인 벤치마크로, 영화 예술, 정적 시각 예술, 무대 공연 예술, 게임 예술을 아우르는 4,016개의 질문으로 구성되며, 전문 논평과 시각적 시연을 결합한 10,000개 이상의 후보 비디오 에세이에서 추출되었다. 예술 분석의 개방적 특성을 대규모로 포착하기 위해, 벤치마크는 단일 선택 및 가변 옵션 다중 선택 질문을 결합한다. 모든 질문은 단축 필터링, 적대적 방해 요소, 전문가 검증을 결합한 4단계 반복 파이프라인을 통해 생성 및 정제된다. 28개의 최신 MLLM에 대한 포괄적인 제로샷 평가 결과, 최고 성능의 모델조차 48.29%의 정확도에 그쳐 인간 전문가의 87.18%에 비해 현저히 낮았으며, 이는 현재 모델의 창의적 도메인 전문성에 상당한 격차가 있음을 드러낸다.

비전-언어-행동(VLA) 모델은 일반적으로 대규모 로봇 시연 데이터셋에 대한 모방 학습을 통해 훈련되지만, 데이터가 많다고 반드시 더 나은 정책으로 이어지지는 않는데, 이는 중복성, 노이즈, 불균일한 커버리지 때문이다. 기존 데이터 선택 방법은 종종 시연을 궤적 또는 상태-행동 수준에서 평가하여, 장기적 행동을 구성하는 재사용 가능한 구조를 간과한다. 본 논문에서는 VLA 모방 학습을 위한 구조 인식 데이터 선택 방법인 SIEVE를 제안한다. SIEVE는 시연을 재사용 가능한 기본 요소(primitives)와 전환 인터페이스(transition interfaces)의 조합으로 본다. 먼저 분할된 궤적에서 시각-운동 기본 요소를 발견한 후, 체감 수익 하에서 재사용 인식 구조적 노출을 최대화하는 방식으로 구성 패턴에 선택 예산을 할당한다. 마지막으로 각 구성 패턴 버킷 내에서 메도이드 궤적을 선택하여 중심적이고 안정적이며 모방에 적합한 시연을 유지한다. 여러 데이터셋, 벤치마크, VLA 모델에 걸친 실험 결과, SIEVE는 경쟁력 있는 데이터 선택 기준 방법들을 일관되게 능가함을 보여준다. 특히, SIEVE는 시연의 50%와 훈련 단계의 50%만 사용하면서도 전체 데이터 훈련을 능가할 수 있는데, 이는 기본 요소와 전환을 통해 포착된 재사용 가능한 구조가 효율적인 VLA 모방 학습을 위한 중요한 신호임을 시사한다.

SMILES를 읽는 모든 화학 언어 모델은 토크나이저로 시작하지만, 이 분야는 자연어 처리에서 바이트 쌍 인코딩(BPE)을 거의 검토 없이 그대로 계승해 왔다. 자연어에서 BPE의 주요 대안인 Unigram-LM은 구조적으로 다른 어휘를 구축하는 것으로 알려져 있다. 이러한 대비가 화학에서도 유지되는지는 미지수였다. 우리는 고정된 165개 토큰 화학 기반 위에서, 토큰 임베딩이 학습 가능한 작은 어휘 크기 조건에서, 세 가지 코퍼스 유형(다양성, 약물 유사, 천연물)과 두 가지 사전 토큰화 경계 정책에 걸쳐 BPE와 Unigram-LM의 통제된 비교를 보고한다. 두 가지는 수렴하지 않는다. 22개의 모든 일치 조건에서 두 알고리즘은 거의 서로소인 하위 단어 어휘를 구축한다: 학습된 조각에 대한 알고리즘 간 자카드 중복도는 0.161을 넘지 않으며, 모델이 가장 많이 업데이트하는 고빈도 조각에 가중치를 부여하면 최대 0.05에 불과하다. 또한 Unigram-LM은 분리된 분자를 29~41% 더 많은 토큰으로 분할한다; 두 방법은 분할 위치에는 대체로 동의하지만 분할 깊이에는 동의하지 않으므로, BPE의 분할은 80~99%의 분자에서 Unigram-LM의 분할을 엄격하게 조악하게 만든 것이다. 이러한 분리는 코퍼스, 경계, 어휘 크기에 관계없이 유지되며, 그 규모의 8배에서도 지속된다. 따라서 하위 단어 알고리즘은 자유로운 기본값이 아니라 모델링 결정 사항이다. 이 연구는 어떤 언어 모델도 훈련하지 않는다.

다른 언어 집단 간 우울증의 진단 및 임상적 발현에서 상당한 차이가 존재한다. 음성 기반 우울증 탐지는 단일 언어 환경에서는 우수한 성능을 보이지만, 교차 언어 일반화는 여전히 해결되지 않은 과제로 남아 있다. 주요 원인 중 하나는 기존 연구들이 화자 그룹화 없이 세그먼트 수준의 무작위 분할을 사용하여, 신원 누출(identity leakage)로 인해 보고된 성능 지표가 부풀려지기 때문이다. 본 연구에서는 병렬 데이터나 대상 언어의 미세 조정 없이 영어와 만다린(Mandarin)의 WavLM 임베딩을 공유된 임상 공간으로 매핑하는 지도 대비 정렬 프레임워크(supervised contrastive alignment framework)인 CLeaD를 제안한다. 52명의 만다린 화자를 대상으로 한 평가에서, 대비 정렬은 하나씩 제외 평가(leave-one-speaker-out) 방식 하에 기준 모델 대비 약간 더 나은 성능을 보였다(F1: 0.640 vs. 0.622). 또한 중간 층(7-8)에서 우울증 집단 재현율(depressed-class recall)을 개선하였으나, 작은 테스트 세트 크기로 인해 일반화 가능성은 제한적이다. 두 가지 결과는 견고하게 유지된다: 모델 확장은 단일 언어 영어 성능을 향상시키는 반면 교차 언어 성능을 저하시켰으며, 화자 신원 누출(speaker identity leakage)이 이전에 보고된 만다린 F1 점수를 0.954까지 인위적으로 부풀렸는데, 본 연구에서 이를 재현하고 정량화하였다.

학술적 산출물은 파편화된 도구 체인을 통해 생산된다. 한 애플리케이션에서 문헌을 발견하고, 다른 애플리케이션에서 참고문헌을 관리하며, LaTeX 편집기에서 글을 작성하고, 학술지/학회 템플릿에 맞춰 수동으로 서식을 조정한 후, 또 다른 포털을 통해 제출한다. 각 도구 간의 경계는 컨텍스트 전환, 형식 변환 또는 수동 복사-붙여넣기 단계를 강제하며, 이러한 누적 비용은 연구자가 연구 외 활동에 소비하는 시간을 지배한다. 본 논문에서는 이 도구 체인을 클라우드 LaTeX 편집기를 중심으로 구축된 단일 연구-작성-게재(Research-Write-Publish) 파이프라인으로 통합하는 편집기 내장형 플랫폼인 Bibby AI를 소개한다. 브라우저 확장을 통해 기존 편집기에 부착되는 보조 도구와 달리, Bibby AI는 전체 문서 상태, 컴파일 파이프라인 및 수정 이력을 자체적으로 관리하므로, 에이전트가 텍스트 제안이 아닌 일급(first-class) 검증 가능 연산으로서 검색 기반 인용 삽입, 구조적 편집 및 템플릿 준수 재서식을 수행할 수 있다. 이 플랫폼은 다음을 통합한다: (i) PDF, DOCX 및 필기 수학식을 깔끔한 LaTeX로 변환하는 수집 파이프라인; (ii) USPTO PatentsView와 Marx-Fuegi 인용 말뭉치에서 파생된 특허-논문 인용 신호로 보강된 학술 메타데이터에 대한 검색 계층으로, 후보 참고문헌의 전이적 영향을 드러냄; (iii) 문서의 추상 구문 표현에서 직접 작동하는 문헌 선별, 초안 작성, 수정 및 학술지/학회 서식 지정을 위한 작업 범위 에이전트. Bibby AI는 프로덕션에 배포되어 50개 이상의 구독 대학에서 5,000명 이상의 활성 연구자에게 서비스를 제공하고 있다. 본 논문에서는 아키텍처, 편집기 내장 특성으로 가능해진 설계 결정, 그리고 파편화된 기준선 대비 플랫폼을 평가하는 데 사용하는 워크플로 수준 시간 절약 프레임워크를 설명한다.

본 논문에서는 대규모 언어 모델(LLM)을 활용하여 텍스트 분류, 개체명 인식(NER), 관계 추출과 같은 NLP 작업을 위한 실행 가능한 규칙을 생성하는 프레임워크인 RuleChef를 제시한다. 규칙은 작업 설명과 레이블이 지정된 예제 집합을 기반으로 생성되며, 이후 추가 예제와 기존 규칙에 대한 인간의 피드백을 바탕으로 반복적으로 개선된다. RuleChef는 주어진 작업에 대해 기존 모델에서 관찰된 입력-출력 쌍을 사용하여 규칙을 부트스트래핑하는 데에도 활용될 수 있다. LLM은 학습 시에만 사용되며, 규칙을 합성하고 유지된 분할에서 측정된 실패를 기반으로 규칙을 반복적으로 패치한다. 이 과정의 결과는 빠르고 결정론적이며 검사 가능한 규칙 시스템이다. 분류 및 NER 작업 모두에 대해 예비 평가를 수행한다. RuleChef를 Apache 2.0 라이선스 하에 오픈소스 소프트웨어로 공개한다.

기하 조건부 3D 장면 생성은 사용자가 제공한 기하 구조를 기반으로 3D 환경을 생성할 수 있게 하여, 장면 구조와 객체 배치에 대한 직접적인 제어를 제공한다. 이러한 3D 장면을 생성하기 위해 현재 방법들은 일반적으로 세 단계 설계를 채택하는데, 먼저 뷰 일정을 정의하고, 정의된 뷰를 따라 다중 시점 관찰 데이터를 합성한 후, 생성된 이미지로부터 3D 표현을 재구성한다. 그러나 야외 장면의 경우, 크고 구조화되지 않았으며 경계가 없는 기하 구조로 인해 충분한 영역을 포함하면서 안정적인 생성을 지원하는 뷰를 얻기 어려워, 뷰 일정 정의가 주요 병목 현상이 된다. 이 병목 현상을 해결하기 위해, 우리는 SceneFrom3D를 제시한다. 이 프레임워크는 야외 입력 기하 구조로부터 자동으로 뷰를 스케줄링한다. SceneFrom3D는 노드가 앵커 뷰를 나타내고 에지가 보간 궤적을 나타내는 방향성 생성 그래프를 구축하여, 어떤 뷰를 합성할지, 어떤 뷰 쌍을 보간할지, 그리고 어떤 순서로 생성을 진행할지를 정의한다. 자동 뷰 스케줄링 외에도, SceneFrom3D는 객체 수준 조건화를 통해 제어 가능성을 더욱 향상시킨다. 각 객체에 외형 가이드를 위한 식별 이미지와 입력 기하 구조에 대한 영역별 제어를 위한 기하 충실도 파라미터를 할당한다. 실험 결과, SceneFrom3D는 최첨단 기하 조건부 야외 3D 장면 생성을 달성하며, 제어 가능한 객체 외형과 기하 충실도를 갖춘 고품질 장면을 생성함을 보여준다.

임베디드 내비게이션(embodied navigation)은 다중 모드 목표를 해석하고, 3D 공간에서 추론하며, 실제 세계에서 목표 지점에 안정적으로 도달하는 에이전트를 구축하는 것을 목표로 한다. 그러나 확장 가능하고, 높은 충실도를 가지며, 물리적으로 기반한 상호작용 환경의 부족으로 인해 발전이 제약을 받고 있다. 실제 세계 스캔 데이터셋은 시각적 현실감을 제공하지만 규모 면에서 한계가 있다. 반면, 합성 시뮬레이터는 더 쉽게 확장 가능하지만 종종 큰 시뮬레이션-현실(sim-to-real) 간극을 보인다. 본 논문에서는 포즈가 지정된 RGB-D 이미지 시퀀스로부터 고품질 상호작용 환경을 구축하는 실시간 신경 시뮬레이션 프레임워크인 Image2Sim을 소개한다. 핵심 아이디어는 3D 공간 앵커링을 사실적인 관측 합성으로부터 분리하는 것이다. 장면 구축을 위해 Image2Sim은 피드포워드 특징 가우시안 모델을 사용하여 포즈가 지정된 RGB-D 관측을 단일 패스로 3D 특징-가우시안 표현으로 변환한다. 렌더링을 위해, 우리는 기하학 인식 원스텝 픽셀 플로우(Geometry-Aware One-Step Pixel Flow) 모델을 제안하여 희소하고 잡음이 있는 가우시안 프로젝션을 고품질 파노라마 RGB-D 관측으로 변환한다. Image2Sim은 또한 고충실도 관측, 실행 가능한 행동, 다양한 내비게이션 명령을 대규모로 생성하는 완전 자동화된 임베디드 데이터 엔진 역할을 한다. 대규모 비디오 및 이미지 컬렉션을 거의 20K개의 상호작용 장면으로 변환하고 1천만 개 이상의 내비게이션 훈련 샘플을 합성한다. 이러한 신경 환경에서 전적으로 훈련된 내비게이션 모델은 주요 벤치마크에서 큰 성능 향상을 달성하고 실제 세계 제로샷 설정으로 효과적으로 전이된다. 이러한 결과는 확장 가능한 신경 시뮬레이션이 대규모 임베디드 내비게이션을 위한 실용적인 훈련 기반이 될 수 있음을 시사한다.

최근 컴퓨터 비전 및 머신러닝 분야에서 자기 지도 표현 학습(self-supervised representation learning)을 위한 유망한 프레임워크로서 공동 임베딩 예측 아키텍처(JEPAs)가 큰 주목을 받고 있다. 픽셀을 재구성하는 마스크 오토인코더(masked autoencoder)와 달리, JEPA 모델은 마스킹된 영역의 잠재 임베딩(latent embedding)을 예측함으로써 표현을 학습한다. I-JEPA 및 V-JEPA와 같은 기존의 JEPA 기반 방법들은 일반적으로 학생 네트워크(student network)에 단일 인코더(single encoder)를 사용한다. 반면, 학생 네트워크에 시암 인코더(Siamese encoder)를 사용하는 것은 뇌 기반 표현 학습 프레임워크(brain-inspired representation learning framework)와 더 자연스럽게 부합하지만, JEPA 모델에서 이들의 역할은 아직 충분히 탐구되지 않았다. 본 논문에서는 JEPA 기반 표현 학습에서 시암 학생 인코더의 효과를 조사한다. 이를 위해, 지수 이동 평균(EMA) 교사 네트워크(teacher network)를 갖춘 마스킹된 시암 학생 인코더인 SiamJEPA를 제안한다. SiamJEPA는 뇌 기반 표현 학습 모델인 PhiNet의 JEPA 형태로도 볼 수 있다. ImageNet 선형 프로빙(linear probing)에 대한 광범위한 실험을 통해, 시암 인코더가 JEPA 목적 함수에 효과적인 정규화기(regularizer)로 작용하여 표현 분리성(separability)을 향상시키고 학습 초기 단계에서 학습을 가속화함을 입증한다. 또한, SiamJEPA는 제한된 학습 예산 하에서 비교 가능한 단일 인코더 JEPA 변형들을 일관되게 능가하며, 더 긴 학습이 필요한 마스크 오토인코더(MAE)보다 더 높은 선형 프로빙 정확도를 달성한다. 우리의 발견은 시암 학생 인코더가 단순한 아키텍처 선택이 아니라 예측적 표현 학습(predictive representation learning)에 중요한 귀납적 편향(inductive bias)을 구성함을 보여준다. 이러한 결과는 JEPA 기반 모델 설계에 대한 새로운 통찰을 제공하며, 시암 학생 아키텍처를 통합하는 것이 자기 지도 표현 학습을 개선하기 위한 간단하면서도 효과적인 접근법임을 시사한다.

대규모 오디오-언어 모델(LALM)은 일상적인 응용 프로그램에 점점 더 통합되고 있지만, 이들의 생성적 편향은 아직 충분히 탐구되지 않았다. 기존의 음성 공정성 벤치마크는 합성 음성과 객관식 질문(MCQ)에 의존하며, 두 방식 모두 공정성에 대한 단편적인 시각을 제공한다. 본 논문에서는 인간이 녹음한 음성을 사용하여 개인화 추천과 같은 개방형 과제를 통해 생성적 편향을 평가하는 프레임워크인 VIBE를 제안한다. MCQ와 달리, 본 방법은 고정관념적 연관성이 미리 정의된 선택지 없이 자연스럽게 드러나도록 하여 새로운 과제로 쉽게 확장 가능하다. 12개의 최첨단 LALM을 평가한 결과, 현실적인 시나리오에서 체계적인 편향이 발견되었다. 성별 및 억양 신호 모두 통계적으로 유의미한 분포 변화를 유발하며, 편향의 정도는 과제에 크게 의존적이다.