일간 논문

일반 목적 언어 모델은 추론하고 지식을 종합할 수 있지만, 복잡한 작업에는 파일, 정보 소스, 실행 가능한 코드와의 지속적인 상호작용은 물론 상태 유지, 오류 복구, 검증 가능한 결과 전달이 요구된다. 우리는 이러한 작업 능력을 실세계 목표를 향한 지속적이고 검증 가능한 진전으로 정의한다. Apodex 1.1은 이 능력을 두 가지 상보적 차원에서 발전시킨다. 환경 확장(Environment Scaling)은 실행 가능한 파일, 검색, 코드 환경의 다양성과 검증 가능성을 확장하며, 에이전트 조정 확장(Agentic Coordination Scaling)은 에이전트가 장기 작업을 분해하고, 병렬 작업을 위임하며, 비동기 결과를 통합하고, 재계획을 수행하도록 훈련한다. 공유 실행 하네스와 AgentOS는 도구와 에이전트에 걸쳐 작업 상태와 출처(provenance)를 유지하며, 훈련은 환경 궤적과 조정 트레이스를 신뢰할 수 있는 행동으로 전환한다. 복잡한 전문 업무, 금융, 과학 연구, 수학, 코딩, 검색 전반에서 Apodex 1.1은 많은 최첨단 시스템보다 훨씬 작은 모델임에도 불구하고 최고 성능대에 도달한다. 350억 파라미터 규모의 Apodex 1.1 Mini는 로컬 배포 가능한 형태에서도 강력한 작업 능력을 유지한다. 이러한 결과는 에이전트 지능을 시간이 지남에 따라 완수되는 유용하고 검증 가능한 작업에 기반을 두며, 야심차고 장기적으로 실행되는 작업을 위한 Heavy-Duty Solver 구축이라는 우리의 목표를 진전시킨다.

본 논문에서는 연속적인 내비게이션에 반응하면서 720p 비디오, 환경음, 음악, 음성을 동시에 생성하는 진입 가능한 생성 미디어(enterable generative media)를 위한 옴니모달 월드 모델인 EchoWM을 제시한다. 우리는 상호작용을 카메라 의도(camera intent)를 중심으로 구성한다: 1인칭 장면에서는 관찰자의 움직임을 지정하고, 3인칭 장면에서는 카메라-캐릭터 역학을 뷰별 컨트롤러 없이 데이터로부터 학습한다. 이산 명령과 연속 자세는 공유된 미터법 스케일의 상대적 6-DoF 궤적으로 매핑되며, 데이터셋 수준의 보정을 통해 이질적 데이터 간에도 움직임의 크기가 보존된다. 오디오-비주얼 생성과 궤적 제어를 공동으로 학습하기 위해 상보적 데이터 엔진을 구축하고, 점진적 훈련(progressive training) 이후 자기회귀적 사후 훈련(autoregressive post-training)을 채택하여 장기간 생성(long-horizon generation)을 수행한다. 광범위한 평가를 통해 본 모델이 공개 월드 모델 벤치마크에서 강력한 궤적 추종 성능과 높은 시각적 품질을 달성하며, 다양한 피사체에 걸쳐 1인칭 및 3인칭 상호작용을 모두 지원하고, 장기간 생성 과정에서 동기화된 환경음과 음성을 유지함을 입증한다.

전자상거래 라이브 스트리밍은 잡음이 섞여 있고 시간적으로 길게 확장된 스트림에 대한 옴니모달 이해를 요구하며, 제품 정보는 음성, 비디오 프레임, 제품 이미지, 오버레이 텍스트, 사용자 질문에 분산되어 있다. 본 논문에서는 라이브커머스 시나리오에 특화된 옴니모달 이해 모델인 TLive-Omni를 제시한다. 이 모델은 이미지, 비디오, 오디오, 텍스트 입력을 통합 표현 공간으로 매핑한다. 장시간 라이브 스트리밍 분석을 위해, 명시적 경계 토큰 내에서 각 비디오 그리드를 시간적으로 대응하는 오디오와 함께 그룹화하는 타임스탬프 토큰 구성 방식인 Per-vGrid를 도입하여 시간적 정렬을 용이하게 한다. 우리는 옴니모달 지각부터 지시 수행 응답까지 라이브커머스 이해를 점진적으로 발전시키는 3단계 지도 학습 방식을 설계한다. 이어서 롤아웃 중 추론 스타일 탐색을 최적화하는 대신 작업 검증 가능한 피드백으로 최종 응답을 직접 평가하여, 실시간 요구를 충족하면서 답변의 충실성과 표현 품질을 추가로 향상시키는 강화 미세 조정 단계인 Faithful-RFT를 제안한다. 또한 TLive-Omni는 시나리오 중심 원자적 능력 분류체계와, 라이브커머스 오디오, 이미지, 비디오 스트림을 음성 인식, 화자 분석, 제품 시각적 근거 찾기, 텍스트 인식, 시간적 근거 찾기, 비디오 조밀 캡셔닝, 옴니모달 QA 등의 학습 신호로 변환하는 간결한 데이터 생성 엔진에 의해 지원된다. 확장 가능한 학습을 위해, 동기화된 길이 그룹 샘플러는 작업자 간 유사한 작업 부하를 유지하면서 패딩을 줄이며, 경량 동적 샘플링 전략은 GRPO를 위한 의미 있는 상대적 이점을 유지하도록 보상 분산이 거의 0에 가까운 롤아웃 그룹을 재생성한다. 전자상거래 라이브 스트리밍 벤치마크 실험은 라이브커머스 도메인 작업 전반에 걸쳐 강력한 성능을 입증하며, 일반 벤치마크에 대한 우수한 일반화 성능도 함께 보여준다.

기존의 이미지 편집 프레임워크는 대부분 텍스트-이미지 확산 모델의 훈련 패러다임을 따른다. 그러나 이 패러다임을 이미지 편집으로 확장하면 두 가지 본질적인 불일치, 즉 편집 개념 세분성에 대한 주의 부족과 희소한 지도 신호로 인한 훈련 비효율성이 드러난다. 이러한 문제를 해결하기 위해, 우리는 1,000개 이상의 세분화된 편집 개념을 포함하는 포괄적인 계층적 분류 체계를 구축하고, 개선된 합성 프레임워크를 통해 1,200만 개의 고품질 편집 쌍으로 구성된 대규모 데이터셋 ConceptEdit-12M을 구축한다. 이 라이브러리 기반 접근법은 높은 데이터 충실도를 보장하면서 생성 데이터의 분포 붕괴를 효과적으로 교정한다. 또한, 우리는 단일 이미지 쌍에 서로 간섭하지 않는 여러 개념을 합성하는 밀집 지도 훈련 전략을 제안한다. 이 전략은 더 풍부한 학습 신호를 제공함으로써 훈련 효율과 전반적인 모델 성능을 모두 크게 향상시킨다. 훈련 결과는 우리의 전략을 검증하며, 이전 연구들을 크게 능가한다. 마지막으로, 우리는 다양한 실제 시나리오 전반에 걸쳐 모델의 능력을 진단하도록 설계된 세분화된 평가 스위트인 ConceptEdit-Bench를 제시한다.

온디바이스 LLM 에이전트가 개인 코파일럿으로 진화함에 따라, 모바일 운영체제는 이 패러다임의 핵심 테스트베드가 되었으며, 엄격한 능력 평가가 필수적이다. 그러나 기존 벤치마크는 각각 중대한 사각지대를 가진 두 부류로 나뉜다: GUI 중심 벤치마크는 표면적인 화면 조작만 테스트할 뿐 백그라운드 도구 사용과 장기 계획을 간과하는 반면, 정적 함수 호출 벤치마크는 실제 런타임 제약과 동떨어진 오프라인 API 매칭에 의존한다. 이러한 격차를 해소하기 위해, 우리는 모바일 계획 에이전트의 도구 호출 및 계획 능력을 평가하기 위한 상호작용적이고 상태 저장형이며 도구 중심의 벤치마크인 MobilePA-Bench를 제시한다. MobilePA-Bench는 실행 가능한 샌드박스에서 구동되어 실시간 애플리케이션 데이터베이스를 유지하고 구조화된 피드백을 반환하며, 13개의 기능 도메인과 212개의 실제 모바일 도구를 포괄한다. 기본적인 도구 사용을 넘어, 중앙 계획 에이전트를 다음 세 가지 고급 차원에서 평가한다: (1) 하위 에이전트 협업(Sub-agent Collaboration) — 복잡한 작업을 분해하고 전문 작업을 유능한 하위 에이전트에게 위임하는 능력; (2) 메모리 사용(Memory Usage) — 저장된 메모리, 사용자 프로필, 과거 선호도를 회상하여 암묵적 요청을 해결하는 능력; (3) 스킬 사용(Skill Usage) — 모든 단계를 처음부터 계획하는 대신 사전 패키징된 복합 스킬을 호출하는 능력. 광범위한 실험 결과, 현재 최첨단 LLM은 모바일 환경에서 여전히 신뢰할 수 없음이 드러났다: 엄격한 도구 순서, 권한 제한, 예기치 않은 런타임 오류가 발생하면 성능이 급격히 하락한다. 상호작용형 함수 호출 샌드박스와 증거 기반 검증을 결합함으로써, MobilePA-Bench는 실용적인 진단 벤치마크이자 에이전트 강화 학습을 위한 상호작용 기반으로서, 신뢰할 수 있는 모바일 에이전트의 개발을 가속화한다.

언어 모델은 순차적 프로세서이지만, 장기 지평 에이전시(agency)는 모델 가중치와 활성 컨텍스트를 넘어서는 외부 정보와 연산을 필요로 한다. Prime Agent는 장기 지평 평가와 코딩 에이전트 워크플로우를 위한 오픈소스 하네스이다. 지속형 IPython REPL은 프로그래매틱 컨텍스트 처리와 테스트 타임 컴퓨트를 위한 재귀 언어 모델 추상화(Recursive Language Model abstraction)를 따르며, Continual Harness는 궤적 전반에 걸쳐 히스토리, 메모리, 스킬, 프롬프트 및 하위 에이전트 명세를 보존한다. 재귀적 하위 에이전트는 에이전트 간 직접 통신을 통해 협력하며, 에이전트 뷰(Agents View)는 인간이 데몬 기반 세션을 검사하고 관리할 수 있게 한다. Prime Agent는 전략 구축은 모델에게 맡기는 한편, 실행, 복구, 검증 및 자원 회계를 표준화한다. 이러한 저마찰·고표현력 멤브레인은 하네스 실패가 모델 실패로 귀결되는 것을 방지하며, 측정이 모델의 진정한 최대 기저 능력에 근접하도록 한다. Prime Agent는 ARC-AGI-3 RHAE Best@1을 30%에서 95.5%로 향상시켰으며, 장기 컨텍스트 코딩, GPU 커널 생성, 에뮬레이터 구축 및 자율 nanoGPT 스피드런에서 네이티브 하네스 및 널리 사용되는 하네스들과 동등하거나 우월한 성능을 달성한다. Factorio에서는 정교화(refinement)가 지속적인 기술 발전을 가능하게 하며, 전용 하위 에이전트가 병렬화된 작업을 가능하게 함을 확인했다. 코드는 https://github.com/PrimeIntellect-ai/prime-agent에서 이용할 수 있다.

텍스트-3D 생성은 빠르게 발전해 왔지만, 낮은 추론 비용으로 높은 기하학적 충실도를 달성하는 것은 여전히 어려운 과제이다. 기존 텍스트-3D 방법들은 이산 형상 토큰을 자기회귀적으로 디코딩하거나 확산 또는 플로우 모델을 사용해 전역 3D 표현을 반복적으로 정제한다. 그러나 자기회귀 디코딩은 순차적이어서 오류를 수정할 수 없으며, 확산 및 플로우 매칭 모델은 전체 표현을 반복적으로 처리하므로 고품질 생성의 비용이 점점 증가한다. 본 논문에서는 이산 형상 토큰 시퀀스를 연속 블록으로 분할하고, 블록을 자기회귀적으로 생성하면서 현재 블록 내 모든 토큰을 공동으로 노이즈 제거하는 블록 단위 확산 프레임워크인 Block3D를 제안한다. 오류 누적을 완화하기 위해 각 블록이 확정되기 전에 낮은 신뢰도의 토큰을 수정하는 신뢰도 기반 블록 내 보정을 도입한다. TRELLIS-500K의 홀드아웃 세트에서 Block3D는 평균 종단 간 생성 시간을 25.71초에서 4.99초로 단축하여, 기하학적 충실도를 희생하지 않으면서 미세 조정된 자기회귀 기준 모델 대비 5.15배 속도 향상을 달성한다.

세계 행동 모델(WAM)은 미래 세계의 전개를 행동 생성에 통합함으로써 주행 계획을 개선하지만, 기존 방법들은 모든 장면에 고정된 상상 예산을 할당한다. 본 논문에서는 롤아웃을 지속할 때의 기대 주행 계획 이득에 따라 순차적 Roll/Stop 결정을 내리는 시스템 수준의 적응형 상상 프레임워크인 RISE(선택적 롤아웃을 통한 상상 정제, Refining Imagination through SElective Rollout)를 제안한다. 각 단계에서 잠재 평가기(Latent Evaluator)는 현재 접두사(prefix)에서 드러난 위험과 상상이 계속될 때 주행 계획이 얼마나 개선될 수 있는지를 추정하고, 롤아웃 게이트(Rollout Gate)는 이 기대 이득을 추가 계산 비용과 비교하여 판단한다. 실제 주행 로그는 오직 하나의 실현된 미래만 제시하므로, 우리는 다양한 결과와 위험 수준을 갖춘 반사실적 데이터셋인 CounterDrive를 추가로 구축하여 미래 역학을 풍부하게 하고 국소적 위험 감독을 제공한다. 보존된 각 샘플은 전문가 검증을 거쳐 궤적 타당성, 사고 발생 시점, 인과 범주에 대한 주석이 부여되며, 이는 안전에 중요한 세계 모델링 연구를 위한 재사용 가능한 자원을 제공한다. NAVSIM과 nuScenes에서의 실험은 RISE가 불필요한 롤아웃을 줄이면서 전반적으로 최고의 주행 계획 성능을 달성함을 보여주며, 추가 전이 실험 결과는 다양한 WAM 아키텍처에 걸친 플러그인 일반성을 뒷받침한다.

실제 산업 현장에서의 사용자 표현 학습은 일반적으로 사용자 수, 행동 시퀀스 길이, 모델 크기를 증가시켜 확장된다. 그러나 기존 방법은 두 가지 문제에 직면한다. (i) 수십억 규모 용량에서의 원시 데이터 확장 병목: 더 큰 규모의 원시 텍스트 사용자 행동 입력은 성능 향상이 감소하는 양상을 보이는데, 이는 토큰화를 통해 완화될 수 있다. (ii) 토큰화 구성이 데이터 규모에 따라 어떻게 확장되어야 하는지에 대한 정량적 분석의 부재. 본 보고서에서 우리는 데이터 규모와 최소 충분 토큰화 용량 간의 정량적 관계를 규명하는 사용자 행동 밀집화 법칙(User Behavioral Densing Law)을 제안한다. 먼저, 수십억 규모 알리페이 데이터셋에 대해 원시 데이터와 토큰화된 데이터의 확장 비교 예비 연구를 수행하여, 원시 데이터 확장의 병목과 토큰화가 가능하게 하는 지속적 개선 효과를 확인한다. 다양한 데이터 규모에서 최소 충분 토큰화 구성을 지배하는 확장 패턴을 도출하기 위해, 이론적 분석과 체계적 실험을 통해 정량적 확장 패턴을 정리한다. 최소 충분 토큰화 용량과 토큰 단위로 측정된 입력 데이터 크기 각각의 로그 사이에는 대략 선형 관계가 있음을 발견했으며, 확장 기울기는 토큰화 방법과 데이터 소스에 따라 체계적으로 변하는데, 이는 표현 공간의 중복성과 소스 내 고유성의 차이를 반영한다. 제안된 법칙에 따라, 우리는 용량 할당을 개선하는 적응형 가변 길이 토큰화 방법인 ALGN을 추가로 개발한다. 다양한 데이터 소스, 토큰화 방법 및 다운스트림 작업에 걸친 광범위한 실험은 사용자 행동 밀집화 법칙의 일반화 가능성과 신뢰성을 입증하며, 대규모 사용자 표현 학습에서 토큰화 구성 선택에 대한 실용적 지침을 제공한다. 또한 ALGN은 기존 베이스라인보다 우수한 성능을 보인다.

인터랙티브 월드 모델은 사용자의 행동을 따라야 하며, 지금까지 보여주었던 장소를 기억하고, 실시간으로 스트리밍해야 한다. 이러한 요구에는 구조적 긴장이 내재해 있다. 제어는 짧은 수평선(horizon)을 원하는 반면, 기억은 무한한 수평선을 요구한다. ReWorld는 훈련 중에 이 둘을 분리하고 추론 시에는 경계를 설정한다. 혼합된 헤드별(per-head) 어텐션 윈도우는 대부분의 헤드를 최근 과거로 제한하는 반면, 소수의 전역 헤드(global heads)는 전체 이력을 주목하며, 무작위 헤드 라우팅(random head routing)은 두 기능이 특정 헤드에 고정되지 않도록 한다. 무작위 청크 드롭핑(random chunk dropping)은 희소한 이력이 분포 내(in-distribution)에 있게 만든다. 추론 시 전체 과거는 고정 예산 하에 존재한다. 즉, 포즈 기반 랜드마크 뱅크(pose-indexed landmark bank)로 뒷받침되는 경계 있는 KV 캐시를 사용하며, 모델은 현재 포즈에 가장 가까운 랜드마크를 검색한다. 미터 스케일 정합 데이터 엔진(metric-scale-aligned data engine)은 Unreal 렌더링 플라이스루(fly-through), 게임 로밍, 실사 영상 등 여덟 가지 소스를 하나의 물리적 동작 스케일로 정렬하여, 모든 소스에서 동일한 키 입력이 카메라를 동일한 거리만큼 이동시키도록 한다. 또한 회문 궤적(palindrome trajectories)은 메모리 훈련에 필요한 재방문 증거를 제공한다. LoRA 어댑터에 국한된 분포 정합 증류(distribution-matching distillation)는 샘플링을 4단계로 압축한다. 하나의 백본(backbone)이 고충실도 다단계 모드와 실시간 인터랙티브 모드를 동시에 지원하며, 포토리얼리스틱, 게임 스타일, 양식화된 세계에서 704x1280 비디오를 스트리밍한다. 행동 추종, 장기 기억 회상, 비디오 품질을涵盖하는 3축 프로토콜 하에서, 최근 여섯 가지 인터랙티브 월드 모델과 비교하여 최상의 제어 정확도(11.95° 회전 오류 및 최상의 카메라 움직임 일관성)와 최상의 생성 품질을 달성한다. 또한 1분 길이의 왕복 롤아웃(64초, 384개 잠재 변수)에서도 고정된 12-청크 캐시가 시작 시점의 뷰를 재생성한다. 이는 슬라이딩 윈도우가 이미 증거를 오래전에 축출하고 전체 KV 어텐션이 메모리 부족에 이르는 롤아웃 길이에서의 결과이다.

대규모 언어 모델(LLM)을 위한 정책 최적화(PO)는 안정성-탐험(stability-exploration) 트레이드오프에 직면하며, 현재는 행동 측 정책-KL 정규화기(action-side Policy-KL regularizer)로 조정된다. 이는 실무자를 이중 구속에 빠뜨린다. 정책-KL을 유지하면 응답 행동이 제약되고 행동 측 탐험 예산이 소모되는 반면, 이를 제거하면 명시적인 드리프트 제어 없이 최적화가 진행된다. 우리는 정규화를 입력 측으로 이동함으로써 이 딜레마를 깨는 대안을 제안한다. 학습이 진행됨에 따라 현재 정책에 의해 유도된 학습 쿼리 분포는 RL 이전의 기준 분포로부터 통제되지 않은 채 표류한다. 구체적으로, 환경 정규화 정책 최적화(Environment-Regularized Policy Optimization, ERPO)는 이러한 쿼리 분포 이동을 제한하는 쿼리-KL(Query-KL, QKL) 항을 도입하며, 데이터셋 고정 기준에서 파생된 쿼리별 가중치를 함께 사용하여 각 쿼리별 업데이트가 기준 분포에서 전형적인 쿼리 쪽으로 편향되도록 한다. QKL 기울기는 오직 쿼리 가능도(likelihood)를 통해서만 흐른다. 정책 경사 추정기에 사용되는 응답 점수 함수는 QKL 항에 나타나지 않으므로 QKL은 응답 분포에 직접적인 경사 압력을 가하지 않으며, 따라서 탐험은 보존된다. ERPO는 추가 순전파(forward pass) 없이 GRPO/PPO/REINFORCE 스타일 파이프라인에 통합된다. 여섯 가지 수학적 추론 벤치마크에서 ERPO는 표준 정책-KL 정규화기를 대체하면서 쿼리 분포 드리프트를 효과적으로 제어하고, 고온 디코딩(high-temperature decoding) 및 장기 학습(long-horizon training) 조건에서 더 강력한 정확도와 훨씬 안정적인 동작을 제공한다. 우리의 소스 코드는 https://github.com/alibaba/ERPO 에서 확인할 수 있다.

개방형 실제 상호작용에서는 여러 가지 유효한 행동이 허용된다. 에이전트는 직접 응답하거나, 명확화를 요청하거나, 진행 상황을 제공하거나, 행동하기 전에 확인을 받을 수 있다. 이러한 유연성은 그룹 기반 강화학습(RL)의 핵심 가정을 깨뜨린다. 그룹 내에서 비교되는 롤아웃이 더 이상 행동적으로 비교 가능하다는 보장이 없다. 그 결과, 상호작용 스타일에 대한 보상 모델의 선호는 상대적 이점을 왜곡하고, 최적화를 상황에 적합한 행동보다 보상이 선호하는 행동으로 이끌 수 있다. 우리는 이를 보상 공정성 문제로 공식화하고, 전략 조건화 롤아웃 그룹화, 하이브리드 보상, 엔트로피 정규화를 통해 더 공정한 상대 비교를 복원하는 훈련 기법인 ARC(Advantage Regularization via Conditioning, 조건화를 통한 이점 정규화)를 제안한다. 우리는 제안하는 INTER, 즉 사용자에게 보이는 의사소통과 잠재 추론 및 도구 사용을 분리하는 반응형, 유도 가능형, 실행 인식형 사용자-에이전트 상호작용을 위한 새로운 패러다임에서 ARC를 연구한다. 또한 INTER는 지도 학습 및 RL 훈련을 위한 전략 주석 훈련 말뭉치인 INTER-86K를 구축하기 위한 주석 및 증류 파이프라인을 제공한다. 실험적으로 ARC는 핵심 τ/τ^2 도구 사용 벤치마크를 크게 향상시키며, INTER는 사고형 기준선 대비 첫 토큰 생성 시간을 4.91초에서 1.27초로 줄인다. 종합하면, 이러한 결과는 개방형 상호작용 학습의 핵심 병목이 에이전트가 어떻게 보상을 받는지뿐만 아니라, 그들의 행동이 먼저 공정하게 비교되는지 여부라는 점을 시사한다. ARC 구현과 INTER-86K 훈련 데이터는 공개될 예정이다.

최근 대규모 언어 모델(LLM)은 자연어 요청으로부터 완전한 게임을 구축할 수 있는 코딩 에이전트로 작동할 수 있다. 게임 개발은 프로그램 논리, 시각 및 오디오 콘텐츠, 인터페이스, 상호작용, 플레이 가능성이 하나의 실행 가능한 산출물에서 함께 작동해야 하기 때문에 특히 까다롭다. 따라서 이 능력을 측정하려면 게임 산출물과 개발 프로세스 모두에 대한 평가가 필요하다. 기존 벤치마크는 종종 최종 산출물이나 고립된 개발 단계를 평가함으로써 LLM의 게임 개발 능력을 평가한다. 완전한 인간-에이전트 개발 궤적에 대한 우리의 분석은 코딩 에이전트를 사용한 게임 개발의 수명 주기를 함께 포괄하는 세 단계, 즉 초기 게임 생성, 버그 진단 및 수리, 다중 턴에 걸친 최적화를 식별한다. 따라서 우리는 세 가지 상호 보완적인 벤치마크 트랙으로 세 수명 주기 단계를 구현한 GameXpert-Bench를 소개한다. GameGen은 빈 작업 공간에서 단일 요청으로부터 완전한 게임 생성을 평가한다. GameFix는 결함이 보고되거나 에이전트가 스스로 발견하도록 남겨졌을 때의 진단 및 수리를 평가한다. GameOpt는 사용자와 에이전트 사이의 실제 개발 궤적으로 초기화된 요청 체인을 통한 누적 최적화를 평가한다. 우리는 각 트랙을 실시간 게임 상호작용, 결정적 동작 테스트, 또는 회귀 검사가 포함된 최종 산출물 기준을 사용하여 평가한다. 이 스위트는 11개 장르에 걸친 97개의 생성 작업, 인간이 검증한 50개의 게임 레벨에서 나온 100개의 수리 작업(각각 19~27개의 주입된 버그 포함), 그리고 6턴과 102개의 요청으로 구성된 17개의 최적화 체인을 포함한다. 세 트랙 전반에 걸쳐, 현재 에이전트는 결함 발견, 런타임 동작 검증, 변경 전반에 걸친 기능 보존보다는 플레이 가능한 기반 생성과 명시적 요구사항 구현에서 더 신뢰할 만하다.

최근 에이전트 벤치마크는 코드 수리에서 웹 탐색, 앱 API, 함수 호출에 이르기까지 평가를 점점 더 실행 가능한 환경에 기반을 두고 있다. 그러나 코드를 넘어선 중대한 작업을 완료하는 것은 그럴듯한 응답이나 유효한 도구 호출을 생성하는 것 이상을 요구한다. 에이전트는 여러 턴에 걸쳐 누락된 정보를 수집하고, 도메인 정책을 따르고, 의존 관계에 있는 도구들을 조정하며, 부수 효과 없이 올바른 지속 상태 전이를 실현해야 한다. 본 논문에서는 도구-에이전트-사용자 상호작용을 위한 샌드박스인 Thinkingbox를 소개한다. 이 샌드박스는 격리된 MCP 호환 도구 세션, 완전한 실행 추적, 그리고 최종 백엔드 상태에 대한 결과 평가를 제공한다. 이 샌드박스를 기반으로 구축된 Thinkingbox-bench는 소매, 호텔·접객, 자동차 보험, 네오뱅크 내부 IT, 컨설팅 IT/HR 지원 등 다양한 시나리오에 걸쳐 507개의 정책 조건부 워크플로를 포함한다. 각 시도는 유효한 궤적은 수용하면서 잘못되거나 누락되었거나 추가된 효과는 거부하는 작업별 실행 가능 검사로 평가되며, 지정된 작업은 최종 응답의 필수 속성도 추가로 검사한다. 독점 모델과 공개 가중치 모델을 통틀어 가장 강력한 모델은 pass@1에서 65.36%를 달성하지만, pass^20에서는 25.25%에 그친다. 더욱이 많은 실패한 시도는 깨끗한 종료와 유효한 상태 변경 작업을 보여주는데, 이는 응답이나 도구 호출 수준의 신호가 종단 간 작업 완료의 명확한 대리 지표가 아님을 시사한다. Thinkingbox-bench는 성공적인 궤적을 우연히 발견하는 것과 상태 저장 비즈니스 작업을 안정적으로 완료하는 것 사이에 큰 격차가 있음을 드러낸다. 우리는 Thinkingbox와 Thinkingbox-Bench를 모두 공개한다: https://github.com/microsoft/thinkingbox

대규모 언어 모델을 저비용으로 서빙하는 것은 점점 더 파라미터의 일부로 구조적으로 압축되고 4비트로 양자화된 모델을 배포하는 것을 의미한다. 이러한 단계는 함께 적용될 때 추론, 수학, 코딩, 긴 문맥(long-context) 동작을 충분히 저하시켜 배포 전에 회복(힐링) 단계를 요구한다. 기본 레시피인 양자화 인식 훈련(QAT)은 압축되고 양자화된 모델을 하드 레이블에 재적합시키지만, 우리의 파이프라인에서는 QAT가 천천히 수렴하다가 최고점을 지나 붕괴했다. 우리는 대신 양자화 인식 힐링(QAH)을 채택했다. 구조적으로 압축된 모델은 전체 정밀도로 독립적으로 훈련된 적이 없기 때문에, 해당 bfloat16 체크포인트는 원본 모델의 증류 회복 근사치이다. QAH는 4비트 학생 모델을 원본의 비압축 모델에서 직접 증류한다. GPT-OSS 120B에서 60B로, 그리고 MXFP4로 이어지는 파이프라인에서 QAH 학생 모델은 약 4배 적은 가중치 메모리와 교사 모델 대비 절반의 파라미터 수로 9개 벤치마크 중 7개에서 bfloat16 소스 모델과 동일하거나 더 나은 성능을 보였으며, Hypernova-60B라는 이름의 오픈 가중치 모델로 공개되었다. 대응되는 QAT 기준선과 비교하면, QAH는 약 7배 더 빠르게 유사한 최고 성능에 도달하고, 수동으로 조정된 조기 종료 없이 지속적인 훈련에서도 안정적으로 유지된다. 또한 우리는 분산 훈련 백엔드 간의 크고 재현 가능한 품질 격차를 포함한 배포 교훈을 보고한다. 우리의 목표는 수 주에 걸친 하이퍼파라미터 탐색 없이 배포할 수 있는 레시피를 제시하는 것이다.

자율 연구 시스템은 점점 더 긴 연구 워크플로우를 실행할 수 있게 되었지만, 자동화만으로는 결과적인 과정이 과학적으로 근거를 유지한다는 것을 보장하지 않는다. 우리는 아이디어 생성(Idea Generation)과 아이디어 실행(Idea Execution)을 연결하는 2단계 시스템인 AutoResearch를 제안한다. 이 시스템은 연구 아이디어가 형성되는 방식과 실험을 통해 그 아이디어가 신뢰할 수 있게 확립되는 방식을 모두 다룬다. 아이디어 생성 단계에서 AutoResearch는 새로운 연구 신호를 축적된 도메인 지식과 지속적으로 통합하고, 전이 가능한 메커니즘적 통찰을 식별하며, 다중 모델 생성과 교차 검토를 활용하여 근거가 있고 검증 가능한 연구 계획을 수립한다. 아이디어 실행 단계에서는 조정된 에이전트들이 이러한 계획을 실험으로 분해하고, 반복적으로 구현 및 진단하며, 연구 결론을 수용하기 전에 독립적인 증거 기반 검토를 수행한다. 교차 모달 검색, 시스템 최적화, 벤치마크 기반 머신러닝의 대표적 설정에서 AutoResearch는 생성된 아이디어를 측정 가능한 진전으로 전환하고, 신뢰할 수 없는 실험 결과를 탐지 및 교정하며, 연구 방향을 계속하거나 수정하거나 종료하는 증거 조건부 결정을 내린다. 예를 들어, RSICD 벤치마크에서 AutoResearch가 생성한 아이디어는 평균 재현율(Recall)을 32.84에서 34.69로 향상시켰으며, 다른 자율 연구 시스템의 11~27건과 비교하여 감사로 확인된 문제 이벤트는 단 5건만 기록하였다. 이러한 결과는 의미 있는 통찰이 실험 전에 근거를 갖추고, 결론이 수용 전에 근거를 갖추는 연구 과정을 입증한다: 통찰이 들어가고, 환각이 나온다(Insight In, Hallucination Out).

온-정책 증류(OPD)는 학생이 생성한 궤적을 교사의 밀집된 토큰 수준 감독과 짝지음으로써 언어 모델의 사후 훈련을 위한 효과적인 프레임워크로 부상했다. 그러나 OPD는 교사로부터 도출된 보상이 추론 진행의 적절한 대리 지표라고 암묵적으로 가정하며, 따라서 정책 최적화 중 모든 교사 피드백을 동등하게 취급한다. 그러나 실제로 이 가정은 항상 성립하지 않는다. 우리는 교사 유래 보상이 실제 추론 진행과 자주 충돌함을 관찰한다. 명확한 추론 발전이 있는 추론 단계라도 단순히 교사의 출력과의 편차 때문에 더 낮은 증류 보상을 받을 수 있다. 이러한 불일치를 해결하기 위해, 우리는 온-정책 증류를 위한 추론 진행 인식 보상 필터링(R2-OPD)을 제안한다. 이 방법은 추론 스팬에 대해 궤적 내 두 가지 순위를 구성하는데, 하나는 교사 유래 보상에서, 다른 하나는 독립적으로 추정된 진행 보상에서 얻는다. 두 순위가 일치하지 않을 때마다 증류 보상을 선택적으로 억제하여, 효과적인 교사 지도를 유지하면서 추론 진행과 충돌하는 감독을 줄인다. 우리의 접근 방식은 특히 추론 성능 측면에서 표준 OPD보다 일관된 개선을 보여준다.

본 논문에서는 적응적 검증 태스크 선택을 통한 효율적인 LLM 하네스 최적화의 새로운 접근법을 제시한다. 하네스 최적화는 검증 성능에 기반하여 하네스 코드를 반복적으로 재작성하며, 기저 모델 가중치를 업데이트하지 않고도 상당한 성능 향상을 가능하게 한다. 그러나 기존 접근법은 각 반복마다 고정된 검증 세트를 전체적으로 평가하므로, 하네스가 진화함에 따라 변별력이 낮아진 태스크에 대해서도 상당한 평가 비용이 발생한다. 우리는 정보성이 높은 태스크를 선택하는 것과 부분 평가에서 전체 세트 성능을 추정하는 것이라는 두 가지 난제를 해결하여 검증 태스크를 하네스와 공동 진화시키는 Task-CoEvolve를 제안한다. Task-CoEvolve는 후보 하네스들이 서로 다른 결과를 보이는 태스크가 일관되게 해결되거나 실패하는 태스크보다 후보들을 구별하는 데 더 정보적이라는 관찰에 기반한다. 이는 과거 결과를 바탕으로 한 분산 가중 샘플링을 사용하여 능력 경계 부근의 태스크에 평가를 집중시키며, 샘플링 분포는 하네스가 진화함에 따라 적응한다. 그런 다음 샘플링된 태스크들의 샘플링 확률을 고려하여 전체 세트 점수를 추정함으로써, 매 반복마다 다른 부분집합을 평가하더라도 일관된 비교를 가능하게 한다. 온라인 텍스트 분류 및 Terminal-Bench 2.1 실험에서 Task-CoEvolve는 부분집합 기반 기준선을 일관되게 능가하고 전체 세트 탐색의 최종 성능과 동등한 성능을 달성하면서도 최적화 중 평가 횟수를 80% 감소시킨다. 코드는 https://github.com/Agent4Science-UTokyo/Task-CoEvolve에서 공개될 예정이다.

대규모 언어 모델은 점차 상호 의존적 제약 조건을 유지하고 엄격한 종단 간 검증을 충족하는 산출물을 생성해야 하는 복잡한 워크플로우를 실행할 것으로 요구받고 있다. 그러나 성공적인 실행 경험은 일반적으로 단일 실행 후에 소실되어, 이후의 모델들은 전략과 실패 양식을 처음부터 다시 발견해야 한다. 우리는 이러한 경험이 EvoMap을 통해 외부화되고 재사용될 수 있는지 연구한다. EvoMap에서는 검증기(verifier)가 확인한 실행 궤적이 구조화된 Gene으로 통합된다. 이 설정을 평가하기 위해, 우리는 코드 생성, 에이전트-환경 합성, 수학적 추론, 규칙 준수 분야에 걸친 778개의 기계 검증 가능한 작업으로 구성된 Long-Workflow 벤치마크(LongWoF-Bench)를 도입한다. 검증기가 확인한 Opus 실행 궤적을 갖춘 252개 작업에서, 진화된 EvoMap Gene은 평가된 7개 모델 모두에 걸쳐 Skill을 8.7~15.5퍼센트 포인트 능가했으며, 이러한 이점은 서로 다른 모델 계열의 소비자용 모델에도 확장되었다. 반면, 참조 증류된 Gene은 동일한 이점을 보이지 않았는데, 이는 간결한 표현만으로는 충분하지 않으며 Gene의 유용성이 검증된 경험의 기원과 밀접하게 연관되어 있음을 시사한다. 또한 Claude Opus의 경우, Gene 재사용은 Skill보다 39개 더 많은 작업을 완료하면서 해결 시간 동안의 토큰 소비를 9.9% 줄였다. 종합하면, 이러한 결과는 검증된 실행 경험이 재사용 가능한 외부 자원으로 유지되고 공유될 수 있음을 보여주며, 모델이 경험 발견의 전체 비용을 반복적으로 지불하지 않고도 긴 워크플로우 완료를 개선할 수 있게 한다.

음성 기반 애플리케이션은 검색 모듈에 앞서 음성 질의를 자동 음성 인식(ASR)에 통과시키므로, ASR 오류가 고정된 선행 제약 조건으로 파이프라인에 유입된다. 우리는 표준 검색 증강 생성(RAG)에 대한 두 가지 확장, 즉 엔티티 그래프 연결과 반복적 재구성이 이러한 오류를 흡수하는지 또는 증폭시키는지를 경험적으로 검증한다. 신경망 TTS로 합성한 네 가지 영어 억양을 사용하여, 우리는 세 가지 다중 홉 QA 벤치마크(HotpotQA, 2WikiMultiHopQA, MuSiQue)에서 네 가지 RAG 구성을 클린 텍스트 오라클과 대비하여 평가한다. 구조적으로 더 풍부한 구성들이 ASR 입력 하에서 일반적으로 더 높은 절대 F1 점수를 유지한다 하더라도, 두 확장 모두 오류를 증폭시킨다. 즉, 세 벤치마크 모두에서 클린 텍스트와 WER이 가장 높은 억양 사이의 F1 격차는 단순 밀집 검색에서보다 이 확장들을 결합했을 때 36-67% 더 크다. 지배적인 실패 유형은 하나 이상의 질의 엔티티가 손상되는 것이며, 이는 네 가지 방법 모두에서 2WikiMultiHopQA의 성능 저하 사례 중 87-96%를 차지한다. 두 가지 경량의 표면 형태 완화 기법은 격차의 대부분을 그대로 남겨 두며, 이는 후속 검색 구조가 남은 엔티티 오류를 증폭시킴을 시사한다. 코드와 데이터는 https://github.com/ZhenghuaBao/spoken-multihop-rag 에서 공개한다.

대규모 언어 모델(LLM)의 장문 컨텍스트 프리필은 밀집 자기 주의(dense self-attention)가 이차적인 쿼리-키 점수를 계산하므로 상당한 연산 및 메모리 트래픽을 유발한다. 기존 방법은 균일한 저정밀도 경로를 사용하거나 토큰 상호작용을 선택하는 방식으로, 융합된 밀집 주의 내부에서 하드웨어 정렬 점수 타일에 대한 공간적 정밀도 라우팅을 수행하지 못한다. 우리는 TileMix를 제안한다. TileMix는 타일 중심의 정밀도 라우팅 커널로, 융합된 밀집 주의 내에서 점수 타일 그룹에 대해 수치 정밀도를 실행 가능한 공간적 결정으로 만든다. TileMix는 주의 행렬을 하드웨어 정렬 점수 타일로 분할하고, 라우팅 결정을 컴팩트한 비트마스크로 압축하며, 각 타일 그룹을 FP16 또는 INT8 점수 계산으로 분배한다. 두 경로 모두 공유 온라인 소프트맥스 상태를 업데이트한다. 확장 가능한 정밀도 그룹화를 통해 각 라우팅 비트가 여러 인접 키 타일을 제어할 수 있으므로, 긴 컨텍스트에서도 하드웨어 정렬 연산 타일과 컴팩트 메타데이터를 유지한다. TileMix는 모든 합법적 타일 그룹을 라우팅하므로 밀집 토큰 연결성을 보존하고, 학습이 필요 없으며, 그룹화된 쿼리 주의, 가변 길이 배치, INT8 키/값 캐시를 지원한다. LLaMA, Qwen, Vicuna에 대한 LongEval, LV-Eval, A100 프리필 벤치마크에서 TileMix는 균일 INT8 하에서 손실되는 장문 컨텍스트 품질을 회복하고 FP16 대비 프리필 처리량을 향상시켜, 모델 계열 전반에 걸쳐 제어 가능한 정확도-효율성 프론티어를 제공한다. 구현은 https://github.com/HanzhiZhang-Ulrica/TileMix에서 확인할 수 있다.

산업 기술 보고서에는 유지보수, 트러블슈팅, 제품 엔지니어링을 위한 고부가가치 지식이 포함되어 있지만, 이질적 구조(밀도 높은 산문, 사양, 표)로 인해 표준 검색 및 QA 파이프라인으로 인덱싱하고 추론하기 어렵다. 또한 이러한 문서로 구축된 공개 인스트럭션 튜닝 또는 벤치마크 데이터셋은 존재하지 않는다. 우리는 Industrial-Instruction으로 이러한 공백을 해결하며, (i) 실제 산업 기술 보고서로 구축된 두 개의 공개 QA 데이터셋과 (ii) 이를 생성하는 엔드투엔드 파이프라인을 제공한다. 906개의 공개 Panasonic 문서(7,525페이지)를 사용하여 레이아웃 인식 추출을 적용하고, 의미론적 검색 인덱스를 구축하며, 다섯 가지 쿼리-문서 관계(무관련 검색, 단일/다중 문서 지원, 단일/다중 문서 답변) 하에서 검색된 증거에 기반한 객관식 QA를 합성한다. 초기 23.9k 생성 샘플을 필터링한 후, 각 데이터셋은 소스 문서와 보류된 벤치마크 분할을 포함한 약 13.6k QA 쌍을 제공한다. 소규모 공개 LLM(10B 파라미터 미만)을 미세 조정하면 Panasonic 벤치마크에서 Set-Match Accuracy가 28.5%에서 42.0%로, F1이 46.6%에서 63.5%로 향상된다. 우리는 동일한 파이프라인으로 구축된 두 개의 병렬 버전을 공개한다: 하나는 오픈 가중치 Qwen3-30B-A3B-Instruct 모델로 생성되었고, 다른 하나는 폐쇄형 API 기반 Claude-Opus-4.6 모델로 생성되어, 오픈 모델과 프런티어 모델의 데이터 생성을 직접 비교할 수 있다. Claude-Opus-4.6 데이터셋은 더 깨끗한 원시 말뭉치와 더 큰 미세 조정 효과를 제공하지만, 비용은 약 두 자릿수 더 높다. MMLU 평가에 따르면 Claude-Opus-4.6 데이터로 훈련된 모델은 본질적으로 모든 일반 지식을 유지하는 반면, Qwen 생성 데이터의 경우 작지만 측정 가능한 망각 효과가 나타난다. 이러한 데이터셋과 파이프라인은 함께 실제 문서에서 확장 가능한 산업 벤치마크와 훈련 데이터를 구축하기 위한 실용적이고 재현 가능한 경로를 제공한다.

검색 증강 LLM은 실시간 웹 콘텐츠를 검색하여 일상적인 소비자 추천을 점점 더 중재하고 있다. 이는 새로운 위험을 만든다: LLM 추천 시스템이 생성 엔진 최적화(Generative Engine Optimization, GEO) 운영자가 자신들을 오도하기 위해 오염시킨 웹 콘텐츠를 소비할 수 있다는 것이다. 우리는 다음과 같은 질문을 던진다: LLM 추천 시스템은 어느 정도까지 가짜 제품을 무의식적으로 홍보하게 되는가? 우리는 FORGE(Fake Online Recommendations in Generative Environments, 생성 환경에서의 가짜 온라인 추천)를 소개한다. 이는 고정된 검색 웹 페이지 집합에서 실제 제품을 가짜 제품으로 국소적으로 재작성하고, 15개 카테고리의 225개 실제 제품과 5가지 소비자 시나리오에 걸쳐 LLM이 가짜 제품을 추천하는 빈도를 측정한다. 12개의 상용 및 공개 가중치 LLM을 대상으로 한 결과, 모든 모델이 취약한 것으로 나타났다: 단일 오염 페이지로는 최대 27%의 오인 비율이 발생했으며, 상위 3개를 모두 대체하면 이 비율은 73.8%로 상승한다. 취약성은 카테고리별로 다르며, 모델이 제품에 대한 안정적인 사전 지식을 갖추지 못한 경우 증가한다. 추론은 이러한 취약성을 완화하지 않으며, 오히려 거짓 추천을 정당화하기 위해 허위 사회적 증거를 생성하는 경우가 많다. 네 가지 방어책 중 어느 것도 적절하지 않다: 회의적 프롬프트는 추론과 마찬가지로 취약성을 악화시킬 수 있고, 두 가지 합의 필터는 정당한 제품을 억제할 위험이 있으며, 신뢰성 재순위화는 모든 모델에 도움이 되지만 가짜 제품의 6분의 1만 제거한다. 우리는 FORGE 벤치마크와 평가 코드를 https://github.com/leoluolol/forge-benchmark에서 공개한다.

검색 증강 생성(RAG)이 다양한 포트폴리오 생성으로 전환됨에 따라, 증거 활용의 잘못된 측정과 차선의 컨텍스트 예산 할당이라는 두 가지 중대한 병목 현상에 직면한다. 우리는 이 두 문제를 순차적으로 해결한다. 측정 문제를 해결하기 위해, 우리는 널리 퍼져 있는 ‘진단적 착각(diagnostic illusion)’을 밝혀낸다. 즉, 표준 관련성 프록시는 어려운 부정 예시(hard negatives)에서 치명적으로 실패한다. 우리는 이를 효율적인 인과적 leave-one-out 프로브로 대체하며, 이 프로브는 생성적 의존성을 정확하게 분리하고 LLM 주의(attention)의 구조적 희석을 공식적으로 보정한다. 할당 문제를 해결하기 위해, 우리는 이 인과적 프로브를 교란 요인이 제거된 요인 그리드에 배치한다. 단일 구조의 컨텍스트 확장이라는 기존 전략은 관련성 감쇠로 인해 불이익을 받는 구조적 함정임을 우리는 증명한다. 대신, 여러 순차적 생성에 걸쳐 계산 자원을 반복적으로 할당하면 포트폴리오 재현율에서 16.7~20.5 절대 퍼센트 포인트의 혁신적인 향상을 가져오며, 32B 모델까지 견고하게 확장된다. 마지막으로, 우리는 이러한 해결책들을 배포 가능한 폐루프 준모듈러 스케줄러로 통합한다. 어트리뷰션으로 유도된 대조 디코더를 통해 LLM 주의 관성을 극복함으로써, 우리의 아키텍처는 새로운 증거 통합을 체계적으로 강제한다. 고전적인 개루프 기준 모델들을 압도함으로써, 우리는 순차적이고 피드백 기반의 오케스트레이션을 생성적 검색의 결정적 패러다임으로 확립한다. 코드, 데이터, 인과적 측정 도구는 https://github.com/PeiYangLiu/ascp 에서 확인할 수 있다.

검색 증강 질의응답 시스템은 요청된 모델 식별자, 프롬프트, 검색 정책, 증거 깊이, 렌더링, 노출된 생성 제어를 고정한 상태에서도 인덱스 확장 후 서로 다른 답변을 반환할 수 있다. 전체 정확도는 이득과 손실이 상쇄될 때 이러한 변화를 숨길 수 있으며, 일반적인 생성 변동성은 일회성 비교가 업데이트 효과를 과장하게 만든다. 우리는 이러한 숨은 현상을 정확도-비가시적 답변 변동(accuracy-blind answer churn)이라 부르며, 교차 스냅샷 불일치에서 동일 스냅샷 반복 불일치를 빼서 초과 답변 변동을 추정하는 스냅샷 호환성 감사(Snapshot Compatibility Audit)를 제안한다. 우리는 하나의 고정된 FineWeb 접두사를 1개에서 7개 샤드로 확장하여 이를 구현한다. 사전 등록된 400문항 Natural Questions 연구에서 정규화-정확 및 블라인드-의미 초과 변동은 각각 6.44 및 10.25 퍼센트 포인트인 반면, 정확 일치 정확도는 -1.50 포인트만 변화한다. 사후 분석에서는 40/400 문항에서 반복-안정 의미 반전이 발견된다. 별도로 사전 등록된 200문항 TriviaQA 연구에서는 더 작고 방향적으로 일관된 초과 변동이 나타나는 반면, 정확 일치 정확도는 반대 방향으로 움직인다. 두 번째 DeepSeek 생성기와 서빙 구성을 사용한 결과-눈가림 사후 100문항 하위 집합 복제에서는 정확 일치가 3.00 퍼센트 포인트 상승함에도 불구하고 8.75 퍼센트 포인트의 의미 초과 변동이 발견된다. 따라서 답변 수준 호환성은 눈에 띄거나 일관된 방향의 효용 변화 없이도 실패할 수 있다. 검색 증강 릴리스는 효용과 함께 호환성을 감사해야 한다.

확산 모델과 대규모 비디오 생성 기술의 급속한 발전에 따라, 생성적 세계 모델은 물리 엔진, 게임 엔진, 강화학습 환경을 포함한 전통적 시뮬레이터를 대체할 것으로 점점 더 기대되고 있다. 그러나 생성에서 시뮬레이션에 이르기까지 남아 있는 격차에 대한 체계적 평가는 부재하다. 우리는 외부 기준을 사용한 능력 기반 연구를 제시한다. 즉, 전통적 시뮬레이터의 여덟 가지 능력, 곧 자산 구축, 물리 엔진, 상호작용, 제어 가능성, 안정성, 상태 피드백, 다양성, 평가 지표를 기준으로 삼는다. 우리는 잠재 역학, 비디오 생성, 공동 임베딩 예측이라는 세 가지 주요 기술 경로를 추적하고, 2018년부터 2026년 6월까지 발표된 정확히 200편의 대표 연구들을 이러한 능력에 매핑한다. 우리의 분석은 세계 모델이 특정 시나리오에서 상호작용과 제어 가능성 측면에서 기능적 대체를 달성했지만, 물리 법칙의 형식적 보장, 구조화된 상태 피드백, 재현 가능한 장기적 진화 측면에서는 여전히 전통적 시뮬레이터에 미치지 못함을 보여준다. 상태 피드백은 모든 기술 경로에서 가장 간과되는 단점으로, 163편의 구현 논문 중 단 6편만이 개체 상태나 물리 매개변수를 질의하기 위한 런타임 인터페이스를 제공한다. 우리는 형식화된 물리, 통합 행동 인터페이스, 일급 상태 피드백, 장기 안정성, 하류 활용도 평가, 경로 간 하이브리드화라는 여섯 가지 연구 방향을 제시한다. 프로젝트 페이지: https://github.com/AtongWang/world-model-simulators

전장 RNA, 특히 메신저 RNA는 종종 기존 RNA 기반 모델의 사전 학습에 사용된 컨텍스트 길이를 초과하여, 단일 염기 해상도에서의 완전한 전사체 모델링을 제한한다. 우리는 최대 10,240 nt의 컨텍스트 길이로 원천적으로 사전 학습된 16억 1천만 파라미터 규모의 양방향 RNA 기반 모델인 RIBOSPAN을 제시한다. RIBOSPAN은 밀집 양방향 자기-어텐션, 단일 염기 토큰화, 그리고 어텐션-격리 시퀀스 패킹을 결합하여 완전한 장편 RNA의 고해상도 모델링을 가능하게 한다. 우리는 염기 재구성, 통제된 장기 컨텍스트 표현 벤치마크, 그리고 동결 표현 RNA 유형 분석을 통해 모델을 평가한다. 원천적인 10K 사전 학습은 10,240 토큰에서 강력한 재구성을 유지하며, 40% 마스킹을 적용한 지속 사전 학습은 표현 품질을 보존하면서 심한 손상 하에서의 복원을 개선한다. 장기 컨텍스트 벤치마크는 또한 원천적인 10K 모델이 강력한 컨텍스트 반응성과 컨텍스트 특이적 표현 분리를 유지하면서, 교란 유발 표현 변화를 고도로 국소화된 상태로 유지함을 보여준다. 추론 시 YaRN 스케일링은 단기 컨텍스트 모델의 직접 외삽으로 인해 소실된 컨텍스트 조직화의 상당 부분을 복구하지만, 원위부 표현 확산을 실질적으로 더 크게 유도한다. 동결 표현 평가는 또한 다양한 RNA 유형 전반에 걸쳐 RIBOSPAN이 가장 강력한 전반적 성능을 달성하고 장편 RNA에서 뚜렷한 우위를 유지함으로써, 최첨단 RNA 표현 품질을 입증한다. 동일한 백본을 기반으로, 우리는 단백질 보존 코딩 서열 최적화를 위한 동의 코돈 확산을 포함하여, 전장 mRNA 생성 및 재설계를 위한 다차원 조건부 이산 확산 프레임워크를 개발한다. 종합적으로, RIBOSPAN은 전이 가능한 RNA 표현 학습과 전장 전사체 mRNA 설계를 위한 강력한 장기 컨텍스트 기반을 구축한다.

해석 가능성 연구는 점점 더 훈련 중 개념이 언제 출현하는지, 그리고 선형 프로브가 실제 구조를 복원하는지에 대해 질문하고 있지만, 언어 모델에서는 이러한 주장을 검증하기 어렵다. 언어는 개념 간의 실측 순서나 관계에 대한 정보를 거의 제공하지 않기 때문이다. 우리는 수백만 개의 은하 이미지로 훈련된 트랜스포머인 AstroPT를 통해 천문학적 실측 자료를 활용할 것을 제안하며, 이를 교정 테스트베드로 사용한다. AstroPT는 개념의 난이도 순서와 개념 간 관계가 사전에 알려진 도메인 내에서 훈련된 LLM 유사 모델이다. 체크포인트, 계층, 모델 크기, 목적 함수 선택에 걸쳐 동결된 표현을 프로빙한 결과, 은하 속성은 알려진 난이도를 따르는 고정된 순서로 출현함을 발견했다. 픽셀에 거의 직접적으로 기록된 양(밴드 등급)은 훈련 초기와 네트워크의 얕은 계층에서부터 해독 가능해지는 반면, 다중 밴드/스펙트럼 기반 및 추론된 양(적색편이, 특정 항성 형성률 등)은 더 늦게 그리고 더 깊은 계층에서 출현한다. 이러한 순서는 우리가 테스트한 훈련 목적 함수에 대해 불변하며, 용량에 따라 크기는 증가하지만 순서는 변하지 않는다. 또한 우리의 선형 프로브 방향은 은하 속성 간의 알려진 물리적 구조를 복원한다. 우리의 발견은 천문학이 우리가 그 외에는 맹목적으로 LLM에 적용하는 기계론적 해석 가능성 방법을 교정하기 위한 통제된 실험 환경을 제공함을 시사한다.

에이전트 벤치마크는 에이전트가 상태 저장 런타임에서 실행되는 경우에도 종종 최종 답변만 평가한다. 우리는 이것이 평가되는 대상을 과소 명세한다고 주장한다. 적절한 단위는 선언된 모델-플러스-런타임 구성이며, 그 실패는 증거 획득, 런타임 라우팅, 안전 경계 또는 반복 실행에서 발생할 수 있다. 본 논문은 OpenClaw에 인스턴스화된 런타임 네이티브 에이전트 평가를 위한 트레이스 인지 벤치마크인 ClawProBench를 제시한다. OpenClaw는 작업공간 도구와 브라우징, 메모리, 메시징, 스케줄링, 스킬 및 하위 에이전트를 위한 네이티브 서피스를 갖춘 라이브 에이전트 런타임이다. ClawProBench는 두 개의 트랙을 정의한다: 라이브 작업공간과 네이티브 런타임 라우팅 작업이 포함된 102개 시나리오 전체 프로파일, 그리고 강건한 순위 평가를 위한 폐쇄 세계 JSON 출력 계약이 있는 고정된 68개 시나리오 홀드아웃이다. 시험은 정확성, 프로세스 품질 및 효율성을 결합한 안전 게이트 공식을 통해 실행 트레이스로부터 채점되며, 감사 목적의 실패 증거를 보존한다. 익명 아티팩트에는 벤치마크 정의, 채점 코드, 매니페스트 및 익명화된 트레이스가 포함된다. 전체 프로파일에서 68개 구성, 홀드아웃에서 37개 구성을 평가했다. 최고 안전 게이트 평균 트레이스 점수는 0.7671이다. 네이티브 런타임 작업은 작업공간 라이브 작업보다 낮은 성과를 보였다(0.5238 대 0.6415). 홀드아웃에서 pass@k-any는 엄격한 3회 시도 통과보다 우수했으며(0.6638 대 0.2890), 전체 프로파일과 홀드아웃 순위는 약한 정렬을 보였다(스피어만 0.1300). 정확성만으로 계산된 순위는 프로세스 인지, 안전 게이트 및 엄격 통과 관점과 상당히 다르다. 최종 답변 리더보드는 네이티브 서피스 취약점, 일회성 성공 및 트레이스 국소적 에이전트 실패 모드를 숨길 수 있다.

심전도(ECG) 기록은 민감한 생체의학 데이터로서, 병원과 웨어러블 기기가 중앙 집중식 모델 훈련을 위해 원시 신호를 공유하는 데 제약이 따른다. 연합 학습은 원시 생체신호 데이터를 각각의 소스에 보관하면서 협력적 모델 훈련을 가능하게 함으로써 이러한 실질적인 개인정보 보호 제약을 해결한다. 그러나 연합 ECG 분류는 클라이언트 측 샘플의 제한, 불균형한 부정맥 레이블, 그리고 클라이언트 간 비독립동일분포(non-IID) 데이터로 인해 여전히 어려움이 있다. 이러한 제약 조건은 통신 효율성과 클라이언트 간 분포 이동에 대한 강건성을 모두 갖춘 분류기를 요구한다. 본 연구에서는 MIT-BIH 데이터셋에서의 5클래스 부정맥 분류와 INCART 데이터셋에서의 3클래스 분류에 대해 연합 평균(FedAvg) 방식 하에서 하이브리드 양자 영감 콜모고로프-아놀드 네트워크(HQKAN)와 다층 퍼셉트론(MLP)의 성능을 평가하였다. 여러 클라이언트 구성에서 HQKAN은 MIT-BIH 데이터셋에서 훈련 가능한 파라미터를 37.35% 적게 사용하고 통신 비용을 24.89% 절감하면서 대부분의 전체 및 소수 클래스 지표에서 우수한 성능을 보였다. INCART 데이터셋에서는 각각 44.81%와 36.41%의 절감 효과를 달성하였다. 이러한 결과는 HQKAN이 생체신호 데이터에 대한 개인정보 보호를 고려한 연합 학습에서 MLP 기준 모델 대비 컴팩트하고 통신 효율적이며 강건한 대안을 제공함을 시사한다.

얼굴 제시 공격 탐지(PAD)는 전통적으로 얼굴 특정 문제로 정식화되지만, 인쇄, 재생, 재촬영 과정에서 도입되는 많은 시각적 인공물들은 본질적으로 얼굴 외관과 관련되지 않는다. 본 연구에서는 다운스트림 PAD 훈련 중 얼굴을 사용하지 않고도 전이 가능한 PAD 표현을 학습할 수 있는지 조사한다. 이를 위해 우리는 기존 얼굴 PAD 데이터셋을 밀접하게 반영하는 프로토콜 하에 획득된, 거의 무작위로 선택된 토마토, 감자, 양파의 실제(bona fide), 인쇄, 재생 녹화물로 구성된 통제된 얼굴 미포함 제시 공격 데이터셋 TPO를 소개한다. 기반 모델(foundation model) 기반 PAD 아키텍처를 사용하여, TPO로 훈련된 탐지기가 네 가지 표준 데이터셋 간 얼굴 PAD 벤치마크에서 평균 AUC 92.70%를 달성하며, 합성 얼굴 훈련을 능가하고 실제 얼굴 데이터셋으로 훈련된 모델과 경쟁력을 유지함을 입증한다. 반대로, 얼굴 PAD 데이터셋으로 훈련된 모델은 TPO에 대해 일관되게 우연 수준 이상으로 전이되며, 이는 학습된 표현이 객체 의미론(object semantics)보다는 제시 과정의 특성을 포착함을 시사한다. 더욱이, TPO를 기존 얼굴 PAD 훈련에 통합하면 고정된 최적화 예산 하에서 데이터셋 간 성능이 일관되게 향상되며, 이는 얼굴이 없는 데이터가 단순한 추가 훈련 샘플이 아니라 상보적 정보를 제공함을 나타낸다. 마지막으로, 표현 및 주파수 분석은 전이 가능한 PAD 표현이 단일 스펙트럼 인공물로 설명될 수 없으며, 대신 객체 범주 간에 공유되는 더 풍부한 제시 단서를 인코딩한다는 추가 증거를 제공한다. 종합하면, 이러한 결과는 전이 가능한 제시 공격 표현이 얼굴 콘텐츠와 무관하게 학습될 수 있다는 경험적 증거를 제공하며, 프라이버시를 보호하고 신원에 독립적인 PAD 개발의 새로운 기회를 열어준다.

로봇 정책은 각 의사결정 단계에서 이질적인 관측값을 수신하지만, 시퀀스 모델은 이러한 입력을 시간에 따라 구성하는 방식이 서로 다르다. 우리는 시간 우선 정책 구현체인 WorldToken을 소개한다. 이는 각 정책 시간 스텝 내의 다중 뷰 이미지, 고유수용감각, 과제 조건화를 하나의 월드 토큰으로 융합한다. 인과적 시간 트랜스포머가 결과적인 월드 토큰 시퀀스를 모델링하고, 확산 행동 헤드가 행동 청크를 생성한다. RoboCasa의 23개 과제에서, 동결된 사전 훈련 CLIP 텍스트 인코더를 제외하고 처음부터 훈련된 85.3M 파라미터 정책은 과제당 2,900개의 생성된 시연을 사용하여 평균 폐루프 성공률 59.45%를 달성한다. 다섯 가지 데이터셋 크기, 다섯 가지 모델 크기, 두 가지 훈련 시드에 대한 완전 요인 스윕은 추가 대상 도메인 데이터로 인한 일관된 성능 향상과 중간 크기 모델을 넘어선 지점에서의 수확 체감을 보여준다. 동일 체크포인트 이력 절단 조건에서는 가시 이력을 정책 시간 스텝 한두 개로 줄이면 50개 RoboCasa 정책 모두의 폐루프 성공률이 낮아진다. RMBench Blocks Ranking에서는 가시 이력을 146초에서 8초로 줄이면 평가자 성공률이 95%에서 28%로 낮아지는 반면, 탐색적 확장 롤아웃은 기준 스왑 시퀀스를 850초 이상 유지한다. 이러한 결과는 완전한 WorldToken 구현의 경험적 실현 가능성을 입증하고, 테스트된 레시피 하에서 데이터 스케일링 및 시간적 맥락 동작을 특성화한다. 그러나 이는 대안적인 시퀀스 구성 방식에 대한 우월성을 입증하지 않으며, 완전한 구현의 어떤 구성 요소가 관찰된 성능을 주도하는지 분리하지 않는다.

심층 얼굴 인식(FR) 모델은 포화에 가까운 정확도에 도달했지만 여전히 불투명하다. 실무자는 유사도 점수가 어떤 의미 속성에 의존했는지 질의할 수 없다. EXPL-FR은 FR 모델 자체의 임베딩 공간 안에서 이 질문에 답한다. 경량 어댑터가 비전-언어 모델(VLM)의 이미지 인코더를 고정된 FR 공간에 정렬하며, 얼굴 이미지만으로 훈련되고 텍스트로는 훈련되지 않는다. VLM의 인코더들이 하나의 공간을 공유하므로, 동일한 어댑터가 텍스트 인코더에도 적용되어, 22개 범주의 978개 속성 프롬프트(확장 가능)를 추가 비용 없이 FR 공간의 앵커로 변환한다. 우리는 이러한 전이가 실제로 작동한다고 가정하지 않는다. 얼굴 검증 프로토콜이 이를 측정하고, 어댑터만 변경하는 제거 실험이 그 기여를 분리한다. 모든 개념이 살아남는 것은 아니다. FR 모델은 신원을 검증할 때 무시해야 하는 요인들을 버림으로써 불변성을 얻기 때문이다. 레이블 없는 검출 가능성 측정치가 각 개념의 분리 가능성을 FR 공간과 VLM 공간에서 비교하며, 가장 검출 가능한 100개가 모델의 해독 가능한 의미적 시그니처를 형성하는데, 이는 전체 어휘보다 신원을 더 잘 분리한다. 우리는 네 개의 FR 백본과 두 개의 VLM 인코더를 다루며, EXPL-FR은 아키텍처 접근권이 필요 없고, 신원 수준, 이미지별, 차등 설명을 지원한다. 우리는 세 가지 지도 설정, 즉 인간 라벨(현재 관행), VLM 의사 라벨, 그리고 완전히 프롬프트 기반인 우리의 감사 하에서 속성 수준 감사를 실제 검증 행동에 대해 벤치마킹한다. 라벨 없이, 프롬프트 기반 감사는 네 FR 모델을 측정된 인종별 RFW 오류에 따라 순위를 매기고, 통제된 속성 변화를 실제 검증 비용에 따라 순위를 매긴다.