일간 논문

본 논문에서는 실시간 장기 폐쇄 루프 상호작용을 위한 행동 조건부 비디오 월드 모델인 ABot-World-0을 제시합니다. 이 모델은 AAA 게임, 시뮬레이션 엔진, 인터넷 비디오를 포괄하는 다중 소스 데이터 인프라를 기반으로 제어 가능한 월드 다이내믹스를 학습합니다. WorldExplorer는 훈련 피드백에 따라 에이전트 기반 수집을 수행하며, 통합 파이프라인은 14개의 결정론적 품질 검사, VLM 기반 평가, 동기화된 행동 및 텍스트 주석을 적용합니다. 우리는 점진적으로 양방향 행동 조건부 교사 모델을 교사 강제(teacher forcing) 및 ODE 증류(ODE distillation)를 통해 인과적 학생 모델로 증류하며, 장기 학생 자기 롤아웃을 확장된 지평 교사와 정렬하기 위해 LongForcing을 도입하여 누적 분포 이동 및 자기회귀 드리프트를 완화합니다. 원시 키보드 동작은 장면 로밍 및 3인칭 캐릭터 상호작용을 위한 통합 제어 인터페이스를 제공하며, 참조 캐릭터 메모리는 3인칭 롤아웃 중 정체성 일관성을 위한 지속적인 외형 단서를 제공합니다. 배포를 위해 우리는 경량 VAE 디코더, 효율적인 어텐션, 메모리 인식 스케줄링, 저비트 DiT 추론을 갖춘 스트리밍 추론 스택을 공동 설계합니다. 최적화된 저비트 구성에서 ABot-World-0는 단일 NVIDIA RTX 5090 데스크탑 GPU에서 최대 16 FPS로 720P 비디오를 스트리밍하며, 동작-첫 프레임 지연 시간은 1.2초, 최대 VRAM 사용량은 약 19GiB입니다. WorldRoamBench 및 확장된 대화형 롤아웃에 대한 실험은 경쟁력 있는 제어 가능성과 일관된 장기 월드 진화를 입증합니다.

대규모 언어 모델(LLM)은 데이터 처리 워크플로우를 자동화하는 데 점점 더 많이 사용되고 있지만, 코딩 에이전트가 생성한 스크립트는 일반적으로 지속 가능하고 편집 가능한 플랫폼 아티팩트로 자동 구현되지 않는다. 이러한 괴리를 우리는 NL2Pipeline 격차라고 부른다. 이 격차를 해소하기 위해, 우리는 DataFlow-Harness를 제안한다. 이 플랫폼은 LLM 에이전트가 자유 형식 스크립트 대신 유형화된 점진적 변환을 통해 플랫폼 네이티브 방향성 비순환 그래프(DAG)를 구성하도록 유도한다. 이 플랫폼은 절차적 안내를 위한 DataFlow-Skills, 실시간 운영자 레지스트리와 현재 파이프라인 상태를 노출하는 모델 컨텍스트 프로토콜(MCP) 계층, 그리고 대화형 저작과 시각적 DAG 편집기를 동기화하는 DataFlow-WebUI를 결합한다. 12개 작업으로 구성된 데이터 엔지니어링 벤치마크에서 DataFlow-Harness는 93.3%의 종단 간 통과율을 달성했다. Vanilla Claude Code 대비 측정된 금전적 비용은 72.5% 절감되었고, 생성 지연 시간은 49.9% 단축되었다. 통과율은 Context-Aware Claude Code 기준선과 0.9% 포인트 차이 내에 있었으며, 비용은 42.8% 낮았다. 작업별 분석에 따르면, Skills는 구성이 암묵적 절차적 지식에 의존할 때 가장 유용한 것으로 나타났다. 이러한 결과는 실시간 플랫폼 기반이 스크립트 생성 기준선과 유사한 신뢰성과 더 낮은 측정된 구성 비용 및 지연 시간으로 지속 가능하고 편집 가능한 워크플로우 아티팩트를 생성할 수 있음을 보여준다.

텍스트-이미지 확산 트랜스포머(DiT)는 텍스트와 이미지 토큰을 공동으로 처리하지만, 노이즈 제거 과정에서의 내부 연산은 여전히 제대로 이해되지 않고 있다. 본 연구는 토큰 범위, 헤드, 계층 전반에 걸친 주의집중 분해와 표적 개입을 결합한 현대 대규모 DiT를 위한 인과적 해석 가능성 프레임워크를 제안한다. 이를 활용해 프롬프트-내용 토큰과 구조적 템플릿 토큰을 분리한 결과, 구조적 토큰은 인코더 출력에서 프롬프트 특정 정보를 거의 포함하지 않는 것으로 나타났다. 그러나 놀랍게도 이들은 DiT 내에서 지배적인 이미지-텍스트 주의집중 싱크(attention sink)로 작용하며 객체 정체성을 인과적으로 유지하고, 암묵적 의미 레지스터 역할을 수행했다. 본 연구는 이러한 정체성이 간접적으로 획득됨을 보여주는데, 프롬프트 의미론은 먼저 이미지 잠재 변수에 주입된 후 프롬프트 토큰에서 직접 전달되지 않고 템플릿 토큰으로 다시 읽혀진다. 위 발견에서 영감을 받아, 본 연구는 DiT를 위한 훈련 없는 가지치기 규칙을 설계했다. 프롬프트 토큰에 가장 강하게 주의를 기울이는 헤드는 불필요하며, 이를 제거하면 GenEval에서 단 1.4포인트 하락만으로 주의집중 FLOP의 20%를 제거한다. 또한 DiT에서 생성 연산이 헤드와 깊이에 걸쳐 어떻게 구성되는지, 의미 라우팅과 시각적 합성을 분리하고 정체성 형성에서 전파 및 정제로 진행되는 과정을 밝혀낸다. 본 연구는 입력에서 의미를 인코딩하는 토큰이 생성 중에 이를 유지하는 토큰과 반드시 일치할 필요가 없음을 보여줄 뿐만 아니라, DiT의 내부 메커니즘에 대한 인과적 관점을 제공한다.

생성적 세계 렌더러 AlayaRenderer는 물리 엔진에서 내보낸 구조화된 세계 상태를 입력받아 RGB 프레임을 합성한다. 텍스트나 제어 힌트 프롬프트로 프레임을 생성하는 모델과 달리, AlayaRenderer는 기본 세계 동역학을 변경하지 않고 장면 구조를 유지한다. 이는 상호작용적 세계 모델링과 사용자 제어 가능한 플레이를 향한 대안적 경로를 보여준다. 그러나 원본 AlayaRenderer는 실시간 배포에 비해 계산 비용이 너무 크다. 본 기술 보고서는 실시간 지향 생성적 순방향 세계 렌더러인 AlayaRenderer-Flash를 소개하며, AlayaRenderer의 성능을 0.56 FPS에서 31.54 FPS로 향상시켜 플레이 가능한 속도에 도달한다. AlayaRenderer-Flash는 원본 렌더러를 소수의 단계로 구성된 자기회귀 스트리밍 모델로 재구성하고, 효율적인 잠재 인코딩 및 프레임 재구성을 위해 경량화된 증류 코덱을 도입한다. 이는 교사 모델의 G-버퍼 및 텍스트 프롬프트 인터페이스를 유지하면서 무제한 길이의 입력 스트림에 대한 연속 렌더링을 가능하게 한다. 우리는 AlayaRenderer-Flash를 G-버퍼 스트림을 대상으로 콘텐츠 보존, 시간적 일관성, 교차 윈도우 안정성, 프롬프트 제어 가능성 및 런타임 효율성 측면에서 평가한다. 실험 결과, AlayaRenderer-Flash는 교사 모델의 핵심 렌더링 능력을 유지하면서 추론 비용을 크게 줄이는 것으로 나타났다. AlayaRenderer-Flash를 물리 엔진과 통합함으로써, 우리는 30 FPS로 작동하는 완전히 플레이 가능한 생성적 세계를 구축한다.

대규모 시각 생성기는 점점 더 강력해지고 있지만, 훈련, 미세 조정 및 배포에 많은 비용이 소요됩니다. 본 논문에서는 효율적인 텍스트-이미지 생성 및 명령 기반 이미지 편집을 위한 콤팩트한 4B 규모 생성 스택인 Mage-Flow를 소개합니다. 이 스택은 두 가지 공동 설계 구성 요소, 즉 경량의 고충실도 잠재 토크나이저인 Mage-VAE와 정류 흐름 매칭(rectified flow matching)으로 훈련된 Native-Resolution Multimodal Diffusion Transformer로 구축됩니다. Mage-VAE는 앵커-잠재 정규화(anchor-latent regularization)를 사용한 단일 단계 확산 방식 인코딩 및 디코딩을 활용하여 강력한 공용 VAE의 재구성 품질을 유지하면서 토큰화 비용을 10배 이상 절감합니다. 기본 해상도 패킹 및 스택 수준 CUDA 커널 퓨전과 함께, 이 스택은 유연한 해상도 훈련을 지원하고 종단 간 훈련 처리량을 약 2.5배 향상시킵니다. 이러한 기반 위에 생성 및 편집 모두를 위한 Base, RL 정렬 및 Turbo 변형 모델군을 완전히 개발합니다. Diffusion-NFT는 프롬프트 따르기, 텍스트 렌더링, 미적 품질 및 편집 정확도를 개선하며, 적대적 지각 유도(adversarial perceptual guidance)를 통한 소수 단계 증류는 저지연 추론을 위한 4단계 Turbo 모델을 생성합니다. 콤팩트한 규모에도 불구하고, Mage-Flow와 Mage-Flow-Edit는 표준 생성 및 편집 벤치마크에서 경쟁력 있는 성능을 달성합니다. 더 중요하게는, Turbo 변형은 대화형 사용에 실용적인 고해상도 생성 및 편집을 가능하게 합니다. 단일 NVIDIA A100 GPU에서 1024² 해상도로, Mage-Flow-Turbo는 0.59초 안에 이미지를 생성하고, Mage-Flow-Edit-Turbo는 1.02초 안에 이미지를 편집하며, 작은 메모리 사용량을 유지합니다. 이러한 결과는 세심한 토크나이저-백본-시스템 공동 설계를 통해 효율적인 4B 모델군 내에서 강력한 고해상도 생성 및 편집을 제공할 수 있음을 보여줍니다.

기존의 비디오 게임 개발이 자산 제작, 애니메이션, 물리 및 프로그래밍을 위한 노동 집약적 파이프라인에 의존하는 것과 달리, 비디오 월드 모델은 사용자 입력으로부터 즉시 상호작용 가능한 환경을 생성한다. 이를 통해 텍스트, 이미지 또는 비디오로부터 맞춤형이고 탐험 가능하며 지속적으로 진화하는 가상 세계를 만들 수 있다. 이러한 비전을 실현하려면 상호작용, 지속적인 시공간 일관성, 안정적인 장기 생성, 그리고 효율적인 응답이라는 네 가지 긴밀하게 결합된 기능이 필요하다. 우리는 540p 및 720p 해상도에서 초당 24프레임의 비디오를 생성하는 대화형 장기 비디오 월드 모델인 AlayaWorld를 제시한다. 15B 파라미터의 비디오 확산 트랜스포머를 기반으로 구축된 AlayaWorld는 카메라 궤적과 전환 가능한 텍스트 프롬프트 하에서 짧은 잠재 청크를 자기회귀적으로 생성한다. 그 경계 시각적 컨텍스트는 지속적인 싱크 프레임, 압축된 시간적 히스토리, 기하학 정렬 공간 메모리, 그리고 최근 프레임 조건화를 결합한다. 장기적인 드리프트를 줄이기 위해 모델은 자체 롤아웃에서 수집된 손상된 히스토리와 예측 잔차로 훈련된다. 또한 분포 정합 증류, self-forcing++, 및 일관성 증류를 결합한 이산적 자기회귀 증류 공식을 도입하여, 청크당 약 30개의 샘플링 단계를 4단계로 줄인다. iWorld-Bench에서 AlayaWorld는 장기 생성 부문에서 최고 성능을 달성한다. 전체 스택, 오픈소스, 장기 프로젝트로 구상된 AlayaWorld는 향후 대화형 비디오 월드 모델 연구를 위한 확장 가능한 기반을 제공하기 위한 것이다.

확산 언어 모델(DLM)은 최근 자기회귀 모델의 유망한 대안으로 부상했다. 기존의 확산 기반 접근법과 달리 DLM은 시간 단계(timestep)에 명시적으로 조건화되지 않으며, 이는 자연스러운 질문을 제기한다: 이러한 모델이 내부적으로 잡음 제거 진행을 표현하는지, 그리고 그러한 정보가 하위 작업(downstream)에서 어떻게 활용되는가? 본 연구에서 우리는 DLM이 실제로 잔차 스트림(residual stream) 내에 확산 시간 단계와 관련된 잠재 표현을 인코딩하고 있음을 보여준다. 우리는 이 신호가 계층 전반에 걸친 프로브(probe)를 사용하여 신뢰할 수 있게 추출될 수 있으며, 이는 잡음 제거 진행이 내부 활성화로부터 복호화 가능함을 나타낸다. 나아가, 추론된 시간 단계와 관련된 저차원 부분공간을 따라 모델을 조종(steering)함으로써 잡음 제거 진행에 대한 모델의 인식을 체계적으로 조절할 수 있으며, 이는 모델의 신뢰도와 엔트로피에 있어 예측 가능한 변화를 초래한다. 마지막으로, 우리는 식별된 표현의 기하학을 분석하여 활성화 공간에서 구조화되고 해석 가능한 속성을 보여주며, 이러한 신호가 해당 모델에 의해 어떻게 처리되는지에 대한 통찰을 제공한다.

비동기 강화 학습은 롤아웃 생성과 최적화를 분리함으로써 처리량을 향상시키지만, 정책 지연, 엔진 지연, 그리고 전문가 혼합 라우팅으로 인해 복합적으로 발생하는 신선도 저하(staleness)는 불가피한 부산물이다. 신뢰 영역 관점에서 이러한 불일치는 매우 중요하다. 훈련-추론 발산은 유한 시간 범위에서의 근사 오차를 결정하는 반면, PPO 클리핑은 표본 추출된 외부 업데이트만을 선택적으로 차단하여 전체 정책 제약보다는 표본 기반 대리(sampled surrogate) 역할을 한다. 결과적으로, 신선도 저하가 심각한 업데이트는 낡은 롤아웃이 가장 중요한 비동기 방식에서 약하게 제어된다. 본 연구에서는 신선도 적응형 신뢰 영역(SAT)을 도입한다. 이 방법은 분리된 표본 로그 비율(detached sampled log-ratio)을 실용적인 신선도 저하 프록시로 사용하고, 신선도 기반 커널 스케일링을 통해 각 배치 내에서 높은 불일치를 보이는 꼬리 부분을 식별한 후, 명목상 PPO 구간에서 부호가 선택된 끝점만 수축시킨다. 이를 통해 일반적인 토큰에 대해서는 기준 행동을 유지하면서 새롭게 포착된 외부 대역에 대해서는 더 보수적인 업데이트를 적용한다. 우리는 국소적 구간 포함성(local interval containment)과 PPO 대비 점별 비관성(pointwise pessimism)을 증명하여, 적응형 규칙이 이질적인 신선도 저하 하에서 업데이트 기하학을 어떻게 재구성하는지 보여준다. 우리는 SGLang을 추론 엔진으로, Megatron을 훈련에 사용하여 Qwen3-30B-A3B-Base 기반의 분리된 비동기 RL 설정에서 SAT를 평가한다. 이 설정에서 SAT-GSPO w/ R3는 가장 우수한 AIME24 avg@8 성능을 기록하여 지연(lag) 1에서 35.83, 지연 8에서 34.79를 달성했으며, SAT-GSPO는 지연 1에서 34.17을 기록했다. 적응형 클리핑과 라우팅 재생(routing replay)은 각각 불일치 꼬리 부분과 라우팅 불일치를 대상으로 하는 상호 보완적인 안정화 장치로 작용한다. 전반적으로 클리핑 구간을 신선도 저하 이질성에 맞추는 것은 비동기 RL을 효과적으로 안정화한다.

LLM 에이전트 실패는 오류가 표면화되는 단계가 원인을 유발한 단계가 아닌 경우가 많아 디버깅이 어렵다. 기존의 가시성 도구는 실행 추적을 재생하지만, 근본 원인을 식별하거나 진단을 복구로 전환하는 데 거의 지원을 제공하지 않는다. 본 논문에서는 디버깅을 탐지, 귀인, 복구, 재실행의 폐루프로 구성하는 오픈소스 디버깅 프레임워크인 AgentDebugX를 제시한다. 핵심 구성 요소인 DeepDebug는 전역 궤적 이해, 구조 기반 조사, 교차 검증을 통해 다중 턴 근본 원인 진단을 수행한다. Who and When 벤치마크에서 DeepDebug는 평가된 두 오픈 가중치 백본 모두에서 가장 높은 엄격 귀인 정확도를 달성하여, qwen3.5-9b에서 28.8%의 정확한 에이전트-단계 정확도를 기록한 반면, 가장 강력한 단일 패스 기준선은 21.7%를 기록했다. GAIA에서는 DeepDebug가 단일 재실행에서 73개의 실패한 작업 중 13개를 수리한 반면, 세 가지 분리된 자기 수정 기준선은 4~6개를 수리하여 전체 정확도를 55.8%에서 63.6%로 향상시켰다. AgentDebugX는 이 워크플로를 Python 라이브러리, CLI, 웹 콘솔, 설치 가능한 에이전트 스킬을 통해 제공하며, 옵트인 방식의 Error Hub를 통해 정제된 실패-진단-수리 번들을 공유하고 디버깅 메모리로 재사용할 수 있도록 지원한다.

구조적 충실성(Structural fidelity)은 과학적 방법론 다이어그램에 필수적이다. 연구 논리를 전달하기 위해, 이러한 다이어그램은 구성 요소, 방향 관계 및 텍스트 주석을 충실하게 표현해야 한다. 단 하나의 오류(예: 화살표 방향 반전 또는 읽을 수 없는 수식)가 전체 그림을 무효화할 수 있으므로, 구조적 충실성은 본질적으로 결합적(conjunctive)이다. 즉, 한 축에서의 정확성이 다른 축의 실패를 보상할 수 없다. 현재의 오픈소스 모델은 이 기준을 충족하지 못한다. 지도 미세 조정(SFT)은 그럴듯한 레이아웃을 학습하지만 구조적 정확성을 안정적으로 보장하지 못하며, 스칼라 보상 기반 사후 훈련은 어떤 구조적 차원에서 실패했는지 모호하게 만든다. 이러한 문제를 해결하기 위해, 우리는 과학적 방법론 다이어그램의 구조 충실 생성 프레임워크인 SciForma를 소개한다. 구체적으로, SciForma는 다이어그램 품질을 구성 요소(Component), 화살표(Arrow), 텍스트(Text)의 세 가지 구조적 축으로 분해하며, 구조적 인벤토리(Structural Inventory)의 안내를 받는다. 이 기반 위에, 우리는 구조화된 훈련을 위한 SciFormaData-700K와 논리 검증 평가를 위한 SciFormaBench-2K를 구축한다. SFT가 남긴 격차를 해소하기 위해, 우리는 다차원 결합 선호 최적화(Multi-Dimensional Conjunctive Preference Optimization, M-DPO)를 개발한다. 이 방법은 모든 축에서 동시 정확성을 강제하고, 사후 훈련에서 가장 취약한 차원으로 기울기를 적응적으로 라우팅한다. 동일한 구조적 인벤토리는 추론 시 반복 편집을 가능하게 하여 잔여 오류를 교정한다. 이러한 조합을 통해 SciForma-9B는 SciFormaBench-2K와 AIBench 모두에서 모든 오픈소스 베이스라인과 GPT-Image-1.5를 능가하며, 공개 과학 다이어그램 생성을 독점 수준의 구조적 충실성에 근접하게 만든다. 코드와 데이터는 다음에서 확인할 수 있다: https://github.com/microsoft/SciForma.

효율적인 팀워크는 일반적으로 전역 조정과 병렬 실행을 결합하는데, 이 원칙은 아직 통합 VLM 기반 문서 파서에 완전히 반영되지 않았다. 기존의 통합 파서는 전체 페이지를 공동으로 처리하지만, 하나의 토큰 단위 자기회귀 경로를 통해 출력을 생성하여 문서 길이에 따라 증가하는 순차적 병목을 만든다. 이러한 전체 페이지 순차 생성은 문서 파싱의 핵심 특성, 즉 레이아웃은 전역적으로 분석되어야 하지만 블록 내용은 병렬로 파싱될 수 있다는 점을 간과한다. 이러한 관찰에 기반하여, 우리는 HPD-Parsing을 제안한다. 이는 전체 페이지 자기회귀 생성을 계층적 병렬 디코딩 패러다임으로 대체한다. 메인 레이아웃 브랜치가 전체 문서 구조를 조직하고 블록 수준 내용 디코딩을 동시 브랜치에 동적으로 할당하며, 점진적 다중 토큰 예측(P-MTP)을 통해 각 브랜치 내 디코딩 단계를 추가로 줄인다. 공개 벤치마크 실험 결과, HPD-Parsing은 초당 4,752개의 토큰을 처리하여 기존 가장 빠른 문서 파싱 모델 대비 2.62배, 기본 자기회귀 기준선 대비 3.06배의 처리량을 달성하면서도 경쟁력 있는 파싱 정확도를 유지한다. 이러한 결과는 계층적 병렬 디코딩이 전체 페이지 자기회귀 생성의 효과적인 대안임을 입증하며, 효율적인 통합 문서 파싱을 위한 새로운 방향을 제시한다.

긴 형식 생성물의 사실성 평가는 주로 정밀도, 즉 모델이 제시한 주장이 올바른지 측정하는 데 초점을 맞춰 왔다. 지배적인 분해-검색-검증 파이프라인은 부정확한 주장을 잘 포착하지만, 응답이 포함해야 할 모든 정보를 담고 있는지에 대해서는 거의 알려주지 않는다. 사실성의 누락된 절반인 사실적 완전성을 측정하는 것은 더 어렵다. 완전한 응답이 반드시 포함해야 할 사실들의 전체 집합을 열거해야 하기 때문인데, 이러한 사실들은 단순한 목록 형태를 이루는 경우가 드물다. 이들은 종종 포괄성이 중요한 개방형 집합, 순서가 있는 프로세스, 그리고 개별 이진 점검 목록으로는 포착하기 어려운 사실 간의 관계를 수반한다. 본 논문은 개방형 생성물 평가를 위한 2단계 메타 루브릭 프레임워크를 소개하고, 이를 긴 형식 생성물에서 사실적 완전성을 평가하는 벤치마크인 Gamut(근거 기반 다중 양식 사실성 평가)으로 구현한다. 이 프레임워크는 2단계 루브릭 표현에 기반한다. 구조화된 메타 루브릭이 요구되는 내용의 조직과 중요성을 포착하면, 이를 기계적으로 이진 형태의 기계 채점 가능한 평면 체크리스트 루브릭으로 컴파일하며, LLM 평가자가 이를 신뢰성 있게 채점한다. 우리는 10개 다양한 도메인에 걸쳐 실제 웨어러블 이미지에 기반한 1,813개의 질문을 구축했으며, 각 질문은 전문 인간 주석자가 검증한 증거 기반 루브릭과 쌍을 이룬다. 이 프레임워크는 양식에 구애받지 않으므로 텍스트 전용 변형도 함께 공개한다. 14개의 최첨단 및 오픈웨이트 모델을 평가한 결과, 이 벤치마크는 실질적으로 어렵고(Gemini 3.1 Pro의 최고 점수 58.7%), 변별력이 매우 높으며, 평가자 선택에 강건함을 확인했다.

본 논문에서는 자동 인덱싱(AutoIndex) 프레임워크를 제안한다. 이는 표현 프로그램(representation program)을 학습하는 프레임워크로, 실행 가능한 변환(executable transformation)을 통해 원시 문서(raw document)를 검색 시스템에 노출되는 표현(representation)으로 변환한다. 검색기(retriever), 재순위화기(reranker), 또는 소수의 전처리 하이퍼파라미터를 조정하는 대신, AutoIndex는 인덱싱 전에 문서를 분할, 보강, 정규화, 재가중치 부여, 재구성하는 프로그램을 탐색한다. 각 반복 단계에서 AutoIndex는 검증 기반 프로그램 탐색(validation-guided program search)을 수행하며, 에이전트(agent)가 현재 프로그램의 실패 원인을 진단하고 후보 업데이트를 합성한 후, 결과 인덱스에서 검색 품질을 향상시키는 업데이트만 유지한다. 우리는 다양한 검색 과제로 구성된 CRUMB 벤치마크에서 AutoIndex를 평가했으며, 모든 실험에서 BM25를 고정하여 사용했다. 학습된 프로그램은 8개 모든 과제에서 정적 전체 문서 BM25 기준선 대비 재현율을 향상시켰으며, Recall@100에서 평균 +8.4%, nDCG@10에서 평균 +8.3%의 성능 향상을 보였고, 최대 Recall@100 +30.5%, nDCG@10 +43.6%의 향상을 달성했다. 이러한 결과는 문서 표현(document representation)이 검색 시작 전에 결정되는 고정된 전처리 선택이 아니라 명시적인 최적화 대상으로 간주되어야 함을 시사한다. 결과 재현을 위한 코드는 https://github.com/auto-index/autoindex 에서 확인할 수 있다.

검증 가능한 보상을 통한 강화 학습(RLVR)은 언어 모델의 추론 능력을 빠르게 향상시키고 있지만, 보상 피드백을 가중치 공간 업데이트로 변환하는 최적화 계층에 대한 이해는 여전히 부족하다. 우리의 이전 분석(Zhu et al., 2025)을 바탕으로, 우리는 모델 가중치의 특이 구조를 통해 이 누락된 계층을 연구하고 스펙트럼 상속을 확인한다: RLVR은 관련 입력 및 출력 특이 프레임의 변화를 통해 새로운 행동을 획득하면서 기본 모델의 가중치 스펙트럼을 재사용할 수 있다. 우리는 스펙트럼 상속을 등스펙트럼 최적화(ISO)로 구현한다. 이는 상호 보완적인 오프라인 및 온라인 구현체를 갖춘 RLVR 고유의 고정 스펙트럼 최적화 프레임워크이다. 오프라인에서 ISO-Merger는 공유 기본 모델을 가진 전문가들의 프레임 변화를 단일 고정 스펙트럼 모델로 결합하며, 병합 후 데이터, 롤아웃, 그래디언트 업데이트 또는 자기 정책 증류(OPD)가 필요하지 않다. 이는 상호 보완적인 전문가 능력을 복원하고 비교된 데이터 없는 병합 방법 중 가장 강력한 종합 성능을 달성한다. 온라인에서 ISO-Optimizer는 기본 스펙트럼을 고정한 상태에서 프레임 변수에 AdamW 및 Muon을 포함한 선택된 기본 최적화기를 적용한다. 1.5B에서 8B 파라미터 범위의 추론 및 코딩 작업에서 ISO-Optimizer는 보고된 실행에서 정확도를 향상시키고 훨씬 적은 학습 단계로 일치하는 점수에 도달한다. Qwen3-8B-Base에서 AdamW는 270 학습 단계 후에 종합 정확도 0.495에 도달한다. ISO-AdamW는 단 100 학습 단계 후에 동일한 정확도에 도달하고 210 학습 단계 후에는 0.509로 더 향상된다. 종합적으로, ISO는 RLVR의 누락된 최적화 계층에 대한 구체적인 답을 제시한다: 사전 학습 최적화를 통째로 상속하는 대신, 보상 기반 적응의 구조에 맞게 사후 학습을 설계하라: 스펙트럼을 상속하고 프레임을 최적화하라.

이질적으로 주석이 달린 데이터로 훈련된 최신 ASR 모델은 전사 스타일(축어적 대 의도적)을 통제되지 않은 잠재 변수로 취급하여, 측정 가능한 디코딩 불안정성, 평가 혼동(보고된 WER의 최대 60%가 스타일 불일치에 기인), 그리고 신뢰할 수 없는 단어 수준 타이밍을 초래한다. 우리는 모델이 이미 두 스타일을 모두 인코딩하고 있음을 보여주며, 과제는 통제된 활성화에 있음을 밝힌다. 병렬 축어적/의도적 전사 쌍으로 훈련된 커버리지 인식 디코더 작업 토큰을 사용하여, 오직 영어로만 훈련되었음에도 불구하고 독일어 비유창성 F1을 제로샷으로 10%에서 79%로 향상시킨다. 완전한 영어 전용 미세 조정은 두 언어 모두에서 축어적 정확도, 비유창성 탐지, 및 의도 모드 품질에 있어 모든 기준선을 능가한다. 또한, 우리는 강제 정렬 기준선을 넘어 비유창한 발화에 대한 단어 수준 타임스탬프를 개선하는 지도 크로스-어텐션 미세 조정을 추가로 도입한다. 마지막으로, 우리는 고품질의 표준 축어적 전사를 통해 음성 코퍼스의 확장 가능한 생성 및 강화를 가능하게 하는 새로운 작업인 verbatimize를 제안한다.

비디오 모델은 시각적 세계가 어떻게 움직이고, 상호작용하며, 접촉에 반응하는지에 대한 풍부한 사전 지식을 흡수하여, 로봇 세계 모델링을 위한 유망한 기반이 된다. 핵심 과제는 이러한 상호작용 사전 지식을 학습한 시각적 공간과 정렬되면서도 물리적 조작에 기반한 형태로, 그러한 모델에 행동을 전달하는 방법이다. 우리는 마스크된 시각적 행동(Masked Visual Actions)을 제안한다. 이는 비디오 내 임의 개체의 부분적으로 드러난 궤적으로 행동을 표현하는 픽셀 공간 제어 인터페이스이다. 로봇 움직임을 드러내면 모델은 저수준 로봇 행동에 대한 장면의 반응을 예측하는 순방향 동역학 모델로 작동하고, 원하는 객체 움직임을 드러내면 동일한 모델이 그 결과와 일치하는 로봇 행동을 복원한다. 실제 비디오와 시뮬레이션에서 단 15시간의 마스크된 예제로 미세 조정된 단일 체크포인트는 다양한 장면과 여러 형체에서 강력한 시각적 충실도와 제어 가능성을 달성한다. 하위 조작 설정에서, 이 모델은 정책 평가를 위해 실제 실행과 결과가 상관관계를 가지는 가상 롤아웃을 생성하고, 모델 기반 계획에서 후보 미래를 순위화하여 의사 결정을 개선하며, 원하는 객체 움직임으로부터 로봇 움직임을 합성하는 역모델링을 지원한다.

검증 가능한 보상을 이용한 강화 학습(RLVR)은 수학적 추론 및 코드 생성과 같은 작업에서 대규모 언어 모델의 추론 능력을 크게 향상시켰습니다. 그러나 대부분의 RLVR 방법은 전체 궤적에 스칼라 결과 보상을 할당하여 희소한 감독과 제한된 토큰 수준의 신용 할당을 초래합니다. 정책 기반 증류(OPD)는 더 강력한 교사 모델에서 토큰 수준 분포를 증류하여 더 조밀한 감독을 제공하지만, 추가 교사가 필요하고 일반적으로 공유 어휘를 가정합니다. 정책 기반 자기 증류(OPSD)는 동일한 모델을 특권 정보에 조건화하여 교사 정책을 구성함으로써 이러한 의존성을 제거합니다. 그러나 교사 분포를 직접 일치시키면 정보 누출과 불안정한 최적화를 유발할 수 있습니다. RLSD는 교사 신호를 업데이트 크기를 조정하는 데만 사용하여 직접 일치를 피하지만, 샘플링된 추론이 실패할 때 명시적인 수정 방향을 제공할 수 없습니다. 이러한 절충점을 해결하기 위해, 우리는 궤적 정확도에 따라 교사를 다르게 사용하는 하이브리드 회고적 자기 증류 프레임워크인 H²SD를 소개합니다. 성공적인 궤적의 경우, 교사는 올바른 것으로 확인된 학생 응답을 재표현 지시와 함께 수신하고, 원래 응답 토큰에 대한 확률은 보상에 의해 결정된 방향을 변경하지 않고 업데이트 크기를 조정하는 데 사용됩니다. 실패한 궤적의 경우, 우리는 교사를 핵심 추론 단계와 검증된 답변을 포함하는 참조 힌트에 조건화하고, 학생에서 교사로의 역 KL 발산을 최소화합니다. 여러 도전적인 추론 벤치마크에 대한 실험은 H²SD가 안정적인 최적화와 유리한 생성 효율을 유지하면서 대표적인 RLVR, OPSD 및 RLSD 기준선을 일관되게 능가함을 보여줍니다.

옵티마이저 상태는 mixture-of-experts(MoE) 학습의 메모리 예산에서 가장 큰 단일 항목이다. 6.78B 파라미터 MoE 언어 모델에서 AdamW는 12.6GB의 bfloat16 가중치를 업데이트하기 위해 50.6GB의 first 및 second moment를 유지한다. 본 연구는 SkewAdam을 연구한다. 이 옵티마이저는 MoE의 세 가지 파라미터 집단(밀집 백본, 전문가, 라우터)이 크기와 그래디언트 통계 측면에서 충분히 달라 동일한 상태를 적용해서는 안 된다는 관찰에 기반한다. SkewAdam은 백본(파라미터의 5%)에 대해 float32 모멘텀과 팩터링된 second moment를 유지하고, 전문가(95%)에 대해 팩터링된 second moment만을 유지하며, 라우터(<0.01%)에 대해 정확한 second moment를 유지한다. 결과 상태는 1.29GB로 AdamW의 2.6%에 해당하며, 최대 학습 메모리는 81.4GB에서 31.3GB로 감소하여 40GB 가속기의 예산 내에 들어간다. 동일한 초기화 상태에서 82M 토큰에 걸친 통제된 비교에서 SkewAdam은 검증 perplexity 108.4를 달성하여 AdamW(126.8), Muon(120.2), Lion(393.7)을 앞질렀으며, 라우터 부하 균형을 균일 하한선의 1% 이내로 안정시켰다. 이러한 할당이 해당 perplexity를 얻는 유일한 요인은 아니다. 계층 제거 실험에서는 20배의 상태를 사용해도 동일한 성능을 보였으며, 팩터링된 추정기를 공유하지만 모멘텀을 생략한 Adafactor는 40포인트 뒤처진 수준에서 정체된다. 계층은 정확도 손실 없이 메모리를 절약하며, 정확도는 모멘텀 유지에서 비롯되는데, 이는 균일 옵티마이저도 공유하는 특성이다. 기준 모델들의 학습률을 최적화하면 격차가 좁혀지지만 완전히 사라지지는 않는다. 가장 잘 튜닝된 AdamW는 118.5, 튜닝된 Adafactor는 139.7에 도달한다. 이러한 결과는 옵티마이저 상태가 어디에 위치하는지가 상태의 양만큼이나 중요함을 시사한다.

교차 시각 지리적 위치 추정은 지상 관측 결과를 지리 태깅된 위성 이미지와 정합한다. 최근 방법들은 비디오 클립과 같은 순차적 질의가 단일 이미지보다 더 풍부한 시공간적 단서를 제공함을 보여주지만, 이들은 보완적인 순차적 모달리티인 경로 설명을 간과한다. 경로 설명은 동일한 궤적을 더 높은 수준의 추상성으로 포착하며, 종종 유일한 입력으로 사용된다(예: 사용자가 자율 주행 차량을 픽업 지점으로 안내하는 경우). 이러한 격차를 해소하기 위해, 우리는 sim39K 비디오-텍스트-위성 삼중항 데이터셋인 SeqGeo-VL과 비디오 클립과 경로 설명을 모두 처리할 수 있는 통합 프레임워크인 TrajLoc을 도입한다. TrajLoc은 밀집된 시각적 의미와 추상적 언어적 의미를 활용하여 이러한 모달리티들이 교차 시각 정합을 상호 강화하도록 한다. 나아가, 쿼리 임베딩을 궤적 기하학에 조건화하여 공간 인식 표현을 생성하는 경량 모듈인 TrajMod를 제안한다. 실험 결과, TrajLoc은 비디오 및 텍스트 지리적 위치 추정 모두에서 최신 방법론 대비 상당한 성능 향상을 달성함을 보여준다. 프로젝트 페이지는 https://humblegamer.github.io/trajloc/ 에서 확인할 수 있다.

대규모 농업 필지 경계 정밀 추출은 식량 안보, 공급망 투명성 및 탄소 회계를 위한 기초 과제이다. SAM과 같은 비전 기반 모델은 놀라운 제로샷 성능을 보여주지만, 위상학적 복잡성, 경작지 질감 패턴 및 물리적 규모 인식 부족으로 인해 지리공간 분야에서 빈번히 실패한다. 본 연구에서는 광역 필지 경계 매핑을 위해 특별히 설계된 전 세계적으로 확장 가능한 기반 모델인 Delineate Anything v2를 소개한다. 우리는 61개국에 걸친 7300만 개 인스턴스의 다중 해상도 데이터셋 FBIS-73M을 구축한다. 다중 필지 행정 구역 병합의 만연한 문제를 해결하기 위해 위상적 영상 공간 적응을 활용하여 병합된 필지를 균질화하고 약한 물리적 경계를 강화하는 해상도별 데이터 큐레이션 파이프라인을 도입한다. 또한, 100개국을 포괄하는 독립적인 제로샷 일반화 성능 평가를 위한 수동 큐레이션 벤치마크를 새롭게 구축한다. 실험 결과, Delineate Anything v2는 Delineate Anything 프레임워크를 포함한 최신 기법 대비 mAP@0.5 기준 0.284 포인트 향상(+103.3% 상대적 성능 향상)을 달성했으며, 소비자급 워크스테이션에서 5.4시간 내에 우크라이나 전역(603,000 km²)을 매핑한 사례에서 확인된 바와 같이 신속한 국가 및 글로벌 규모 배포에 적합한 실행 속도를 유지한다. 코드, 사전 학습 가중치, FBIS-73M 데이터셋 및 즉시 사용 가능한 국가 규모 벡터 경계 제품은 https://github.com/Lavreniuk/Delineate-Anything에서 공개적으로 제공된다.

교육 비디오가 교육의 주요 매체로 자리 잡으면서, 이들의 교육학적 품질에 대한 확장 가능한 평가의 필요성이 증가하고 있다. 기존의 자동 평가 시스템은 이러한 상황을 완전히 해결하지 못하는데, 이는 교수 품질이 다중 양식 증거에 의존하며, 보편적 속성이 아닌 대상 학습자(Frms)를 기준으로 평가되어야 하기 때문이다. 본 논문에서는 루브릭 기반 학습자 조건부 LLM 평가 시스템인 EduPanel을 제안한다. 이 시스템은 평가를 전문화된 에이전트들로 분해하여 교수 품질의 다양한 측면에 대해 해석 가능한 평가를 산출한다. 전문가 연구, 아키텍처 절제 실험 및 학습자 페르소나 분석을 통해 EduPanel은 중간 인간 전문가에 필적하는 신뢰성을 달성했다. 전문가 평가에서 EduPanel의 피드백은 점수 정확도를 향상시켰으며(MAE 0.87 → 0.73), 전문가들은 신뢰할 수 없는 출력을 맹목적으로 수용하지 않고 탐지할 수 있었다(AUC = 0.77). 이러한 결과는 EduPanel이 인간 전문가를 대체하는 것이 아니라 교육 평가를 위한 효과적인 보조 도구로 기능할 수 있음을 시사한다.

제어 가능한 이미지 생성은 창의적 전문가들에게 여전히 어려운 과제로 남아 있으며, 이들은 종종 텍스트 프롬프트만으로는 신뢰성 있게 달성할 수 없는 재료, 객체 정체성, 공간 배열에 대한 정밀한 지역적 제어를 필요로 한다. Diffusion Transformers(DiTs)는 텍스트와 이미지에서 비롯된 이종 토큰을 본래적으로 입력받을 수 있지만, 이러한 토큰이 출력에 어디에서 어떻게 영향을 미쳐야 하는지 결정하는 메커니즘이 부족하다. 우리는 외형 포인터(appearance pointers)를 도입하는데, 이는 텍스트 또는 이미지 입력을 사용자가 지정한 마스크와 정렬함으로써 DiT가 올바른 공간 위치에서 올바른 외형 단서를 찾도록 안내하는 간결한 토큰이다. 외형 포인터는 영역 대응 네트워크(region correspondence network)에 의해 생성되고, 공간 집계 메커니즘(spatial aggregation mechanism)을 통해 정제되어, 토큰 부하를 크게 증가시키지 않으면서 모델이 여러 지역적 설명을 처리할 수 있게 한다. 우리의 접근 방식은 기본 모델을 처음부터 재훈련하지 않고도 DiT에서 국소적 다중 모드 제어를 위한 최초의 모달리티 무관 인터페이스를 도입한다. 다양한 지표에 걸쳐, 우리의 단일 모델은 모달리티별 최신 방법의 성능에 도달하거나 이를 능가하며, 생성적 이미지 합성에서 정밀하고 영역 인식적인 다중 모드 안내를 위한 간단하고 확장 가능한 경로를 제공한다.

밈, 만화, 카툰에 나타난 멀티모달 유머는 의도된 의미가 문자 그대로의 장면 묘사가 아닌 비문자적 메커니즘, 공유된 문화적 지식, 그리고 의사소통 의도에 의존하기 때문에 AI 시스템이 이해하기 어려운 과제로 남아 있다. 본 설문조사는 단일 이미지 및 다중 패널 아티팩트에서의 시각적 유머 이해에 초점을 맞추되, 유머 생성을 새로운 하위 영역으로 간주한다. 우리는 기존의 유머, 풍자, 일반 MLLM 관련 조사 논문들과의 차별점을 제시하고, 인식, 해석 및 추론, 생성으로 이어지는 능력 중심의 계층 구조를 활용하여 문헌을 체계화한다. 이러한 관점에서 벤치마크 설계, 평가 프로토콜, 모델링 패러다임을 종합하며, 해당 분야가 과제 특화 융합 모델에서 멀티모달 정렬, 증거 기반 추론, 제어된 생성에 기반한 대규모 모델 접근법으로 전환되어 온 과정을 추적한다. 결론적으로, 진전을 가로막는 주요 장벽으로 지름길 평가, 제한된 문화적 및 내러티브 범위, 취약한 증거 기반, 그리고 해결되지 않은 안전 및 소유권 문제를 강조한다.

비디오 공간 추론은 내비게이션 지향 인지 및 장시간 비디오 질문 응답에 필수적이며, 모델은 변화하는 시점에서 장기간에 걸친 공간 관계를 추론해야 한다. 그러나 기존의 다중 모달 대규모 언어 모델(MLLM)은 대체로 의미 중심적이며, 중복된 비디오 관측으로부터 일관된 공간 증거를 신뢰성 있게 집계하지 못하여 비효율적이거나 불안정한 추론을 초래한다. 이러한 문제를 해결하기 위해, 우리는 기하학적 일관성 인식 프레임워크인 ConsiSpace를 제안한다. 이는 공간 일관성을 증거 조직 원칙이자 명시적인 사후 SFT 학습 신호로 활용한다. 우리는 암시적 증거 토큰과 명시적 기하학적 단서를 포함하는 기하학적 일관성 메모리(GCM)를 구축하고, 효율적인 조직 전략을 활용하여 작업 관련 공간 증거를 간결하게 보존한다. 또한, 지도 미세 조정 이후 통합 일관성 자기 지도 강화 학습(UC-SSRL)을 활용하여 응답, 측정 및 위상 일관성 보상을 통해 교차 뷰 안정성을 향상시킨다. 세 가지 공간 추론 벤치마크인 VSI-Bench, OSI-Bench 및 MMSI-Video-Bench에 대한 광범위한 실험에서 일관된 성능 향상을 보였으며, 가장 강력한 기준선 대비 평균 점수가 12.6포인트 향상되었다.