일간 논문

우리는 일반 세계 기반 모델의 초기 구현체인 Orca를 소개한다. Orca는 멀티모달 세계 신호로부터 통합된 세계 잠재 공간을 학습하고, 이를 멀티모달 판독 인터페이스를 통해 노출한다. 고립된 다음 토큰, 다음 프레임, 또는 다음 행동 예측을 최적화하는 대신, 우리는 다음 상태 예측(Next-State-Prediction) 모델링에 중점을 두어 세계를 이해, 예측 및 행동하기 위한 통합된 상태 전이 모델링 경로를 제공한다. Orca는 두 가지 상호 보완적 패러다임을 통해 학습한다. 무의식 학습은 연속 비디오에서 밀집된 자연 상태 전이를 포착하고, 의식 학습은 언어로 기술된 사건과 VQA 감독을 통해 희소한 의미 있는 상태 전이를 모델링한다. 사전 학습을 위해 125K 시간의 비디오 데이터와 160M 개의 사건 주석을 포함하는 대규모 세계 학습 인벤토리 데이터를 구축한다. 사전 학습 후 Orca는 통합된 세계 잠재 공간을 학습한다. 학습된 잠재 표현이 다운스트림을 지원하는지 검토하기 위해, 텍스트 생성, 이미지 예측, 임베디드 행동 생성의 세 가지 대표적인 다운스트림 판독으로 평가한다. Orca의 백본은 고정되고, 가벼운 모달리티별 디코더만 훈련 가능하다. 실험은 제안된 패러다임의 확장성을 보여주고, 더 강력한 세계 잠재 표현이 더 강력한 다운스트림 판독을 가능하게 함을 확인한다. Orca는 유사한 크기의 특화된 기준 모델보다 우수한 성능을 보인다. 이러한 결과는 일반 세계 기반 모델로서 Orca가 세계를 이해, 예측 및 행동하는 데 유망한 접근법을 제시함을 보여준다. 마지막으로, 현재의 한계를 논의하여 커뮤니티에 유용한 통찰력과 영감을 제공하고자 한다.

프로그램 검증기는 코딩 에이전트 훈련에서 중심적인 역할을 수행하며, 지도 학습 미세 조정(SFT)을 위한 궤적 선택과 강화 학습(RL)을 위한 보상 제공을 포함한다. 표준적인 실행 기반 검증은 Docker 이미지와 같은 저장소별 환경 내에서 단위 테스트를 실행해야 하므로, 상당한 환경 구축 비용이 발생한다. 우리는 Dockerless를 제안한다. 이는 환경 없이 동작하는 에이전틱 패치 검증기로, 생성된 코드 패치를 실행하지 않고 평가한다. Dockerless는 후보 패치를 참조와 단순히 매칭하는 대신, 에이전틱 저장소 탐색을 통해 수집된 증거를 활용하여 패치의 정확성을 판단한다. 검증기 평가 벤치마크에서 Dockerless는 가장 강력한 오픈소스 검증기보다 AUC 점수 14.3포인트 더 높은 성능을 보였다. Dockerless를 SFT 궤적 필터이자 RL 보상으로 사용함으로써 완전히 환경 없는 사후 훈련 파이프라인이 가능해진다. 그 결과로 얻어진 모델은 SWE-bench Verified, Multilingual, Pro에서 각각 62.0%, 50.0%, 35.2%의 해결률을 달성했다. 이는 Qwen3.5-9B 기준선보다 각각 2.4, 8.7, 2.9포인트 높은 수치로, 환경 기반 사후 훈련에 필적하는 성과이다.

온-정책 증류(OPD)는 밀집된 토큰 수준 신호로 학생이 샘플링한 궤적을 감독함으로써 우수한 능력 전이를 제공한다. 고품질 감독 원천을 제공하고 이를 통해 증류의 성능 한계를 높이기 위한 직관적인 방향은 교사나 학생 자체에 특권 정보를 주입하는 것이다. 그러나 이러한 추가 입력은 우리가 특권 환상(privilege illusion)이라고 명명하는 잠재적 실패 모드를 유발한다. 이는 학생이 닫아야 할 전이 가능한 능력 격차와 모방만 가능하고 결코 복제할 수 없는 정보 비대칭 격차를 혼동하는 패턴이다. 이 문제는 핵심 능력 전달 신호를 가진 토큰의 작은 부분집합만이 존재하는 토큰 수준 감독의 본질적인 비균일성에 의해 더욱 증폭된다. 이를 위해 우리는 DOPD, 즉 이점 인식 이중 증류 패러다임을 제안한다. 이는 특권 교사와 특권 학생 정책 간의 이점 격차와 상대적 확률에 기반하여 토큰 수준 감독을 동적으로 라우팅한다. 각 토큰은 교사나 학생 자체로부터 서로 다른 강도, 목적, 전략의 감독을 받아, 보조 신호를 동시에 수신하면서 신뢰할 수 있는 능력을 전이하여 특권 환상을 완화한다. 대규모 언어 모델(LLM) 및 시각-언어 모델(VLM) 설정에 대한 광범위한 실험은 DOPD가 바닐라 OPD 및 다른 대응 방법보다 일관되게 우수함을 보여준다. 안정성, 견고성, 지속적 학습, 분포 외 작업에 대한 추가 결과는 그 우월성을 입증한다.

추론적 디코딩은 경량 초안 모델을 사용하여 후보 토큰을 병렬로 생성하고, 이를 목표 모델이 검증함으로써 무손실 가속을 가능하게 한다. 최근 확산 기반 추론적 디코딩은 블록 수준 확산을 통해 단일 순방향 패스에서 여러 토큰을 생성함으로써 병렬성을 더욱 개선하여 최첨단 성능을 달성한다. 그러나 기존 방법들은 고정된 추론 블록 크기를 채택하고 모든 입력에 대해 균일한 최적 디코딩 전략을 가정한다. 본 논문에서는 최적 블록 크기가 샘플에 따라 달라지며 추론적 디코딩 성능에 중요한 역할을 하기 때문에 이러한 가정이 차선임을 보인다. 또한, 이러한 값들은 훈련 블록 크기 주변에 집중되는 명확한 국소 구조를 나타내며, 이는 문제를 저차원의 구조화된 결정 공간으로 축소한다. 이러한 통찰을 바탕으로, 우리는 프리필링 표현으로부터 최적 블록 크기를 예측하는 샘플 적응형 정책인 BlockPilot을 제안한다. 구체적으로, 블록 크기 선택을 경량 정책 학습 문제로 정식화하고, 프리필링 단계의 표현에 기반하여 최적 블록 크기를 예측하는 인스턴스 적응형 결정 메커니즘을 제안한다. 예측은 프리필링 이후에 한 번만 수행되므로 원활한 통합이 가능하다. 광범위한 실험을 통해 우리의 방법이 플러그 앤 플레이 방식이며, 최소한의 오버헤드를 도입하고, 지속적으로 효율성을 개선하여, 온도 T=1에서 Qwen3-4B에 대해 수용 길이 5.92와 4.20배의 속도 향상을 달성함을 입증한다.

임베디드 비전-언어-행동(VLA) 모델은 일반적으로 강력한 사전 훈련된 VLM을 로봇 데이터에 미세 조정하여 얻어지지만, 적응 후 상식 및 사실적 지식을 얼마나 보유하는지는 불분명하다. 지식에 민감한 작업에서의 실패는 모호하여, 지식 부족과 저수준 제어의 일반화 부족이 혼재된다. 우리는 에이전트가 행동을 통해 답변하도록 요구함으로써 VLM 지식 벤치마크를 VLA 평가에 적용하는 경량 프로토콜인 Act2Answer를 소개한다. 각 질문은 에이전트가 후보 답변 중에서 선택하기 위해 단일 객체 배치 동작을 수행하는 짧은 탁상 에피소드가 되어, 제어 혼란을 줄인 행동 기반 성공률을 제공한다. 우리는 다양한 상식 및 세계 지식 범주에 걸쳐 이러한 환경의 테스트 스위트를 선별하고, VLM 백본과 행동 헤드 전반에 걸쳐 답변 관련 정보를 위치 파악하기 위한 계층별 의도 탐침을 도입한다. 7개의 VLA 모델과 9개의 VLM 기준 모델에 대한 대규모 연구에서, 우리는 범주별로 모델을 체계적으로 순위를 매겼으며, VLA가 단순한 개념에서는 견고한 성능을 보이지만 원천 VLM에 비해 더 풍부한 의미 범주에서는 더 큰 차이를 보이고, VQA 공동 훈련이 더 나은 지식 유지와 관련이 있으며, 답변 관련 신호가 중간 VLA 계층에서 최고조에 달하지만 상위 계층에서는 약화된다는 것을 발견했다. Act2Answer는 https://tttonyalpha.github.io/act2answer/에서 이용 가능하다.

3D 장면은 그것을 구성하는 기본 요소가 아닌 객체를 통해 이해된다. 그러나 피드포워드 재구성 방법은 조밀하고 구조화되지 않은 점 또는 가우시안 집합을 출력하여 객체 수준의 구조를 사후에 복구하도록 남겨둔다. 우리는 포즈가 지정되지 않은 다중 뷰 이미지로부터 장면을 인스턴스 구조화된 3D 토큰 그룹으로 직접 분해하는 피드포워드 프레임워크를 제안한다. 이는 재구성, 분할 및 조작이 모두 따르는 컴팩트한 객체 중심 단위이다. 각 토큰 그룹은 개체 수준의 식별성을 포착하는 인스턴스 토큰과 국부적 기하 및 외관을 인코딩하는 앵커 토큰을 짝지으며, 이는 3D 가우시안 집합으로 디코딩된다. 이러한 이중 수준 분해는 객체 식별성을 국부적 외관으로부터 분리하여 객체 인스턴스를 표현의 파생물이 아닌 기본 인터페이스로 만든다. 토큰 그룹은 재구성과 분할 감독을 결합한 미분 가능 렌더링을 통해 학습되며, 3D 주석이 필요하지 않다. 우리의 피드포워드 모델은 클래스에 구애받지 않는 인스턴스 분할에서 장면별 최적화 기준을 능가하면서 새로운 뷰 합성에서 경쟁력을 유지한다. 이러한 지표 외에도, 동일한 토큰 그룹은 인스턴스 수준의 장면 편집(그룹을 조작하여 객체를 제거, 이동 또는 삽입)과 효율적인 개방형 어휘 3D 인스턴스 검색을 직접 가능하게 하며, 여기서 검색 복잡도는 기본 요소가 아닌 인스턴스 수에 따라 확장된다.

시각적 생성 모델은 일반적으로 두 단계로 훈련된다. 먼저 토크나이저가 재구성을 위해 훈련된 후 고정되고, 이후 생성기가 이산 인덱스 또는 연속 잠재 변수 위에서 훈련된다. 이러한 분리 방식은 생성기가 모델링하기 쉬운 것을 토크나이저가 인지하지 못하게 한다. 본 논문에서는 GEAR(Guided End-to-end AutoRegression)를 제안하며, 이는 벡터 양자화(VQ) 토크나이저와 자기회귀(AR) 생성기를 표현 정렬에 의해 유도되어 종단간 공동 훈련한다. 주요 장애물은 AR 모델에 입력되는 VQ 인덱스가 미분 불가능하므로 기울기가 토크나이저에 도달할 수 없고, 직통 추정기가 붕괴된다는 점이다. GEAR는 코드북 할당의 이중 판독을 통해 이를 해결한다. 경질의 원-핫 분기는 다음 토큰 예측으로 AR 모델을 훈련하는 반면, 미분 가능한 소프트 분기는 토크나이저만 유도하기 위해 역전파되는 표현 정렬 손실을 전달한다. 이로써 AR 모델은 자신이 더 쉽게 예측할 수 있는 인덱스 분포로 토크나이저를 유도한다. 이는 정렬 부담을 토크나이저에서 AR로 이동시킨다. 즉, 토크나이저 자체의 특징은 DINOv2 유사성이 줄어드는 반면 AR의 특징은 증가하며, 이는 잠재 변수 자체를 의미론적으로 만드는 확산 측 접근법과는 반대이다. GEAR는 강력한 LlamaGen-REPA 기준선 대비 ImageNet gFID 수렴을 최대 10배 가속화하고, 눈에 띄게 더 나은 패치 수준 및 공간적 일관성 특징을 학습하며, 양자화기(VQVAE, LFQ, IBQ) 및 텍스트-이미지 생성에 일반화된다.

GPU 커널 설계 속도를 높이는 경험이 오랫동안 풀리지 않은 수학적 추론에 접근하는 데 도움이 될 수 있을까? 진화 탐색에 통합된 대규모 언어 모델(LLM)은 최근 최적화 작업에서 최첨단 해법을 생산해 왔으며, 여기에는 열린 수학적 추론, GPU 커널 설계, 과학 법칙 발견 및 조합 퍼즐이 포함된다. 이를 위해 기존 연구는 한 번에 하나의 목표 작업에 검색 스캐폴드를 적용했으며, 따라서 모든 새로운 문제는 처음부터 접근되고 검색 중 축적된 경험은 모델이 시도를 마치면 폐기된다. 이는 반복적으로 해법을 진화시키는 능력(예: 어떤 부분을 변이할지와 그 방법을 알고, 언제 되돌아갈지를 결정하는 것)을 전적으로 모델 자체가 아닌 스캐폴드에 두게 만든다. 모델 자체가 이러한 능력을 획득하여 서로 다른 작업 간에 재사용할 수 있는지 여부는 대부분 검토되지 않았다. 이 문제를 해결하기 위해, 우리는 진화 탐색 궤적을 감독 신호로 변환하여 LLM이 작업 간에 해법을 진화시키도록 가르치는 중간 훈련 패러다임인 진화 미세 조정(EVT)을 소개한다. 우리는 10개 도메인과 371개 최적화 작업에 걸친 156,000개 궤적 데이터셋인 Finch Collection을 구축하고, 20억에서 90억 매개변수 범위의 오픈소스 LLM을 미세 조정한다. 실험적으로, EFT는 교차 작업 일반화를 제공한다: 22개의 보류된 작업에서 우리 모델은 기본 모델 대비 평균 10.22% 더 나은 성능을 보인다. 더 나아가, 테스트 시점 강화 학습과 결합될 때, 우리 모델은 두 개의 원 패킹 작업에서 최첨단 성능과 일치하며, 에르되시 최소 중복 문제에서 기본 모델 대비 우수한 성능을 보인다. 따라서 EFT는 새로운 문제를 처음부터 풀지 않는 범용 발견 에이전트를 위한 "연습 단계" 역할을 한다.

블록 확산 언어 모델(BD-LM)은 KV 캐싱 및 유연한 길이 생성을 통해 확산 기반 텍스트 생성을 개선한다. 자연스러운 다음 단계는 단일 블록 확산(SingleBD)에서 다중 블록 확산(MultiBD)으로 확장하는 것이며, 여기서 연속된 블록들의 실행 집합이 동시에 디코딩되어 블록 간 병렬성을 확보한다. 그러나 기존 BD-LM은 주로 교사 강제(teacher forcing) 방식으로 훈련되며, 모델은 깨끗한 접두사(clean prefix)를 조건으로 단 하나의 잡음이 있는 블록만 관찰한다. 최근 확산 강제(diffusion forcing) 전략이 여러 잡음 블록 간의 가시성을 도입했지만, 그 훈련 상태는 여전히 MultiBD 추론과 차이를 보이며, 추론 시 디코딩은 이질적인 슬롯별 잡음 패턴을 가진 제한된 실행 집합에서 작동한다. 이러한 격차를 해소하기 위해 우리는 다중 블록 교사 강제(MultiTF)를 통해 BD-LM을 사후 훈련(post-training)하여 얻은 다중 블록 확산 언어 모델(MBD-LM)을 제안한다. MultiTF는 교사 강제와 확산 강제를 통합하며, 깨끗한 접두사를 조건으로 제한된 잡음 그룹에 대해 훈련하고, MultiBD 추론 상태에 더 잘 부합하는 무작위 잡음 스케줄러를 사용한다. MultiBD를 실제로 실행 가능하게 만들기 위해, 우리는 접두사 캐시 재사용을 유지하고 입력 형태를 정적으로 유지하며 증가된 디코딩 병렬성을 실시간 가속으로 변환하는 블록 버퍼 메커니즘에 기반한 최적화된 디코딩 알고리즘을 추가로 도입한다. 실험적으로, MBD-LLaDA2-Mini는 평균 전방향 전달당 토큰 수(TPF)를 3.47에서 6.19로 증가시키고 평균 정확도를 79.95%에서 81.03%로 향상시킨다; DMax와 결합 시, MBD-LLaDA2-Mini-DMax는 평균 TPF 9.34에 도달하며 수학 및 코드 벤치마크에서 1.02%의 정확도 하락만을 보인다.

에이전트 스킬은 언어 모델 에이전트에 작업별 절차, 스크립트, 참조를 추가하지만, 이들이 대상으로 하는 작업과 환경은 계속 변화한다. 기존 방법은 제한된 실행 내에서 스킬을 개선하고 최종 결과물만 유지하며, 이후 에이전트가 이전 수정, 평가, 거부된 대안을 해석하는 데 필요한 결정 기록을 폐기한다. 우리는 지속적인 결정 기록에 기반한 에이전트 스킬의 지속적 진화를 위한 하네스인 SkillHone을 소개한다. SkillHone은 스킬 수정과 연습 피드백을 제공하는 평가 측 증거를 짝지어, 진단, 수정, 증거, 결과의 구조화된 기록을 저장한다. 역할이 분리된 하위 에이전트는 수정된 보고와 함께 연습 프로브에서 후보 스킬을 실행하고, 이전 결정에 기반한 수정을 제안하여 과거 근거를 재발견하지 않고도 세션 간 개선을 가능하게 한다. 심층 연구 벤치마크에서 SkillHone은 사전 통합 검색 스택 없이 실행되며, GAIA에서 15.8점, WebWalkerQA-EN에서 3.2점 더 높은 성능을 보여 상업적으로 지원되는 심층 연구 에이전트를 능가하고, 이전 스킬 진화 방법도 초과한다. 또한 SkillHone을 내부 도구 기반 분석 시나리오에 배포하여 일곱 가지 설정에서 평균 18.8점의 정확도 향상을 달성한다.

비디오 월드 모델은 사용자 행동과 과거 비디오 프레임을 기반으로 미래 세계 상태를 예측하는 상호작용적 비디오 생성 모델이다. 비디오 월드 모델의 중요한 과제는 메모리 부족으로 인해 긴 시간 동안 생성된 장면이 일관성을 유지하지 못하는 점이다. 기존 방법들은 규칙 기반의 컨텍스트 프레임 검색을 메모리로 활용했지만, 장면 폐색과 동적 객체가 존재하는 시나리오에서는 일반화에 실패한다. 본 논문에서는 학습 기반의 적응형 컨텍스트 질의 방법인 MemLearner를 제안하며, 쿼리 토큰을 사용하여 컨텍스트와 예측 토큰을 연결한다. MemLearner는 비디오 생성 모델 자체를 컨텍스트 질의에 활용함으로써, 추가 모듈을 처음부터 학습하지 않고 사전 학습된 시각적 사전 지식을 활용하며, 학습 및 추론을 위한 효율적인 전략을 통합한다. 또한 장면 폐색과 동적 객체가 포함된 긴 비디오 데이터셋을 수집하고, 이를 카메라 포즈 주석과 쌍으로 구성하였으며, 주석이 달린 렌더링 비디오와 주석이 없는 실제 비디오를 모두 활용하는 다중 데이터셋 학습 전략을 제안한다. 광범위한 실험을 통해 MemLearner가 특히 까다로운 폐색 및 동적 시나리오에서 장면 일관성과 메모리 측면에서 이전 비디오 월드 모델보다 훨씬 뛰어난 성능을 보임을 입증한다.

텍스트가 풍부한 이미지 생성은 이미지 생성 분야에서 가장 도전적인 과제 중 하나로, 모델이 시각적으로 사실적인 이미지를 생성함과 동시에 가독성이 뛰어나고 의미적으로 정렬되며 레이아웃이 일관된 텍스트를 렌더링해야 한다. 기존의 데이터 파이프라인은 일반적으로 정적 크롤-필터-고정 패러다임을 따른다. 즉, 후보 샘플을 수집하고, 한 번 필터링한 후, 승인된 데이터를 학습을 위해 고정한다. 그러나 거부된 샘플은 유용한 실패 신호(예: OCR 오류, 의미적 불일치)를 종종 포함하고 있음에도 불구하고 일반적으로 폐기된다. 그 결과, 이후의 구축 라운드에서 동일한 실패 모드가 반복될 수 있다. 이러한 한계를 해결하기 위해, 우리는 텍스트가 풍부한 이미지 데이터 구축을 위한 자기 진화적 다중 에이전트 프레임워크인 DataEvolver를 제안한다. DataEvolver는 데이터 구축을 피드백 기반 구축 정책 진화로 취급한다. 검색기는 후보 샘플을 수집하고, 검증기는 품질 점수와 거부 원인을 할당하며, 비평기는 라운드 수준의 피드백을 의미적 피드백으로 요약하고, 생성기는 표적 합성을 통해 미달 영역을 완성한다. 업데이트된 피드백 메모리는 이후 구축 라운드를 안내한다. 텍스트가 풍부한 이미지 생성 벤치마크에 대한 실험 결과, DataEvolver는 동일한 데이터 예산 하에서 고정 데이터셋 기준선보다 더 유용한 학습 데이터를 생산한다. PixArt-alpha에서 0.75M 규모로, DataEvolver는 TextScenesHQ에서 최강 기준선 대비 OCR-F1을 85.3% 향상시키고 LongTextBench에서는 35.3% 향상시킨다. 이러한 개선은 평가된 두 벤치마크 모두에서 일관되게 나타나며 Show-o2로도 전이되어, DataEvolver의 이점이 특정 다운스트림 생성기에 국한되지 않음을 시사한다. 이러한 결과는 거부된 샘플이 텍스트가 풍부한 이미지 데이터 구축을 개선하기 위한 실행 가능한 피드백을 제공할 수 있음을 보여준다.

메타인지는 자신의 인지 과정을 모니터링하고 조절하는 능력을 설명하는 지능의 핵심 구성 요소이다. 그러나 LLM은 주요 메타인지 능력에서 체계적인 결함을 보인다. 즉, 높은 확신으로 환각을 일으키고, 지식의 경계를 인식하지 못하며, 내부 불확실성을 잘못 표현하여 신뢰성과 의존성을 훼손한다. 과제 수행을 모니터링하고 그에 따라 행동을 조정하는 것은 메타인지의 핵심이므로, 자신의 수행을 정확히 판단할 수 있는 모델이 이를 개선할 더 나은 위치에 있다고 가정한다. 우리는 이 아이디어를 두 가지 새로운 메커니즘을 통해 구현한다. 첫째는 메타인지 피드백을 통한 강화 학습(RLMF)으로, 선호도 최적화 과정에서 모델의 수행에 대한 자기 판단의 질에 기반하여 완성 순위를 개선하는 패러다임이다. 둘째는 메타인지 데이터 선택으로, 유사한 자기 판단을 사용하여 높은 가치의 훈련 예제를 식별하며, 단순 능동 학습보다 우수한 성능을 보인다. 우리는 이러한 혁신을 충실한 보정(FC) 문제에 적용한다. 이 과제는 그 자체로 근본적으로 메타인지적이며, 목표는 표현된 불확실성과 내재적 불확실성을 일치시키는 것으로, 최첨단 LLM에게도 어려운 일이다. 우리는 두 단계로 분리된 접근 방식을 채택한다. 먼저 이러한 방법을 사용하여 모델이 자체 보고한 신뢰도 점수의 충실성을 보정한 다음, 목표 출력 편집을 통해 자연스럽고 맥락에 적응 가능한 언어적 불확실성으로 매핑한다. 광범위한 실험을 통해 RLMF가 정확성을 유지하면서 다양한 과제에서 일반화 가능한 최첨단 FC를 달성함을 보여준다. 또한 RLMF는 표준 RL을 최대 63%까지 능가하면서 모델이 자신의 능력 한계를 평가하고 표현하는 능력을 향상시킨다. 이는 RLMF를 LLM 메타인지를 향상시켜 능력과 정렬을 개선하는 유망한 패러다임으로 자리매김하게 하며, 메타인지 성능이 이전의 내재적 피드백 방법의 한계를 극복하는 효과적인 RL 신호가 될 수 있음을 시사한다.

절차적 메모리는 반복적인 업무 작업에서 LLM 에이전트를 개선하는 데 점점 더 많이 사용되고 있지만, 재사용 가능한 기술을 생성하는 능력은 여전히 잘 이해되지 않고 있다. 우리는 6개의 전문 직무 역할과 22개의 절차적 기술에 걸친 382개의 현실적인 엔터프라이즈 작업으로 구성된 벤치마크인 AFTER를 소개하며, 이는 작업, 역할, 모델 백본 간의 기술 전이 방식을 평가하도록 설계되었다. 이 벤치마크는 로컬 개선, 교차 작업 전이, 교차 역할 전이, 교차 모델 일반화를 위한 통제된 평가 설정을 포함한다. 실험 결과 절차적 메모리가 산업 워크플로에서 일관된 성능 향상을 제공한다는 것을 보여준다: 단일 정제 라운드는 종합 성능을 3.7~6.7포인트 향상시키며, 다양한 다중 모델 실행 추적에서 진화된 기술은 73.1%의 교차 모델 테스트 정확도를 달성하여 모든 단일 모델 추적 소스를 능가한다. 또한 일부 기술은 작업과 모델 전반에 걸쳐 광범위하게 일반화되는 반면, 다른 기술은 역할별 워크플로에 특화되어 전이 시 효과를 잃는다는 사실을 발견했다. 이러한 결과는 프로덕션 에이전트 플랫폼에서 절차적 메모리 시스템을 구축, 평가 및 배포하기 위한 실용적인 지침을 제공한다.

LLM의 수학적 추론에서 다양성은 탐색에 중요하지만, 일반적인 다양성 지표는 대부분 문제 해결 방식의 차이보다는 표면적 변이만을 포착한다. 우리는 접근 수준의 다양성, 즉 동일한 문제에 대한 올바른 해결책들 간의 전략 변이를 도입함으로써 이러한 간극을 해결한다. 인간 조정된 LLM 판별 프레임워크를 사용하여, 우리는 기존의 다양성 측정 방법이 접근 수준의 다양성에 대한 신뢰할 수 없는 대리 지표임을 보여주며, 이러한 불일치는 다양성 인식 RLVR로 이어져 대상 지표는 유지되지만 접근 수준의 다양성은 감소한다. 접근 수준의 다양성이 언제 도움이 되고 직접 유도될 수 있는지 조사한 결과, 접근 다양성이 있는 후보 집합이 테스트 시간 확장을 향상시킨다는 것을 발견한다. 그러나 훈련 중 LLM 판별 다양성 보상을 최적화하면 정책이 접근 방식을 확장하기보다는 판별 특정 선호도를 악용하게 되어, 접근 수준의 다양성의 직접 최적화는 여전히 해결되지 않은 과제로 남는다. 종합하면, 우리의 연구는 접근 수준의 다양성 개념을 도입하고 표면 수준 신호와 접근 수준 신호 간의 체계적 차이를 밝혀내어, 진정으로 다양하고 인간과 유사한 방식으로 추론하는 LLM을 향한 한 걸음을 내딛는다.

포토모자이크는 국소 영역이 독립적인 타일로 보이면서도 전체 배열이 하나의 일관된 장면을 형성하는 대형 이미지입니다. 모든 타일이 각각 설득력 있는 고해상도 이미지를 생성하는 것은 캔버스에 많은 세부 타일을 동시에 담아야 하므로 계산 비용이 많이 듭니다. 본 논문에서는 임의 해상도로 포토모자이크를 생성하는 학습 없는 프레임워크인 PhotoQuilt를 제시합니다. 확산 모델은 두 가지 규모를 동시에 충족시키는 데 어려움을 겪습니다. 직접 고해상도 생성을 하면 비용이 많이 들고 모자이크보다는 하나의 부드러운 이미지에 가까워지는 반면, 패치 기반 타일링은 국소 디테일을 유지하지만 전역 구조를 잃습니다. PhotoQuilt는 부트스트랩 기반 타일 노이즈 제거 절차를 통해 이 문제를 해결합니다. 먼저 저해상도에서 전역 구성을 생성하여 레이아웃을 고정한 다음, 이를 잠재 공간에서 업스케일하고 노이즈를 재주입하여 생성 능력을 복원합니다. 노이즈 제거는 고정된 타일 내에서 진행되므로 각 타일이 자체 이미지를 형성하는 동시에 공유된 전역 구조가 이를 하나의 레이아웃으로 유지합니다. 타일 생성을 개별적으로 처리하기 때문에 PhotoQuilt는 이차 주의 비용 없이 대형 캔버스로 확장 가능합니다. 실험 결과, PhotoQuilt는 전역 구조와 국소 사실성 모두에서 현재의 기준선보다 우수한 성능을 보임을 확인했습니다.

음성 인식이 가능한 모델들은 다양한 언어로 실제 애플리케이션에 점점 더 많이 배포되고 있다. 그러나 영어 환경을 넘어 자연스러운 조건에서의 안전성과 공정성에 대한 연구는 여전히 부족하다. 우리는 최신 음성 모델 릴리스의 안전 보고 관행을 조사한 결과, 오직 8%만이 다국어 분석을 문서화하고 있음을 발견했다. 이러한 격차를 해소하기 위해, 우리는 실제 음성을 기반으로 구축된 오디오 및 음성용 다국어 안전 및 공정성 벤치마크인 RedVox를 소개한다. 이 벤치마크는 영어, 프랑스어, 이탈리아어, 스페인어, 독일어 등 다섯 가지 언어에 걸쳐 안전하지 않거나 불공정한 고정관념적 요청을 다룬다. 여덟 개의 최신 모델을 평가한 결과, 취약점은 비적대적 조건에서도 지속되며, 비영어 언어에서는 악화되고, 요청이 음성 입력으로 이루어질 때 더 증폭된다는 것을 발견했다. 마지막으로, RedVox에 기여한 참가자들을 대상으로 설문조사를 실시하여 인간 참가자와 함께 음성 데이터를 수집하는 데 따르는 독특한 개인정보 및 프라이버시 문제를 문서화하며, 이는 자연스러운 음성 안전 연구에서 더 광범위한 사회기술적 과제를 시사한다.

비디오 코퍼스의 규모와 작업 복잡성이 계속해서 증가함에 따라, 대규모 코퍼스에서 관련 비디오를 검색(비디오 간 추론)하고, 검색된 콘텐츠 내에서 시간적 근거 찾기(temporal grounding)와 같은 세분화된 질의 조건부 작업(비디오 내 추론)을 수행하는 접근 방식에 대한 수요가 증가하고 있습니다. 그러나 기존 접근 방식은 일반적으로 검색을 전처리 단계로 취급하므로, 초기 검색이 실패할 경우 검색을 개선할 메커니즘이 없어 이후의 세분화된 비디오 내 추론이 실패하게 됩니다. 또한 최근의 에이전트 기반 프레임워크는 비디오 이해를 발전시켰지만, 일반적으로 질의 관련 비디오가 이미 주어져 있다고 가정하고 비디오 내 추론 작업에만 집중합니다. 이러한 한계를 해결하기 위해, 우리는 비디오 검색 엔진과의 다중 턴 상호작용을 통한 반복적 비디오 검색 및 추론을 위한 에이전트 기반 프레임워크인 VideoSearch-R1을 제안합니다. 구체적으로, 우리는 이산적 텍스트 공간에서 질의를 재작성하는 대신 연속적 잠재 공간에서 검색 질의 토큰을 정제하는 소프트 질의 정제(Soft Query Refinement, SQR)를 도입하여 보다 효율적이고 세분화된 조정을 가능하게 합니다. SQR과 그 추론 과정은 검색 및 다운스트림 작업에서 파생된 작업 수준 보상 신호에 의해 안내되는 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 사용하여 훈련됩니다. 이를 바탕으로 VideoSearch-R1은 Video Corpus Moment Retrieval(VCMR)의 세 가지 데이터셋에서 최첨단 성능을 달성하며, 대규모 코퍼스에서 반복적으로 비디오를 검색하고, 검색 질의를 정제하며, 검색된 콘텐츠 내에서 정확한 질의 조건부 시간적 근거 찾기를 수행합니다. 우리의 분석에 따르면 SQR은 원래 질의를 효과적으로 정제하며, 명시적 텍스트 수준 질의 정제보다 훨씬 적은 생성 토큰이 필요합니다. 코드와 모델 체크포인트는 mlvlab.github.io/VideoSearch-R1에서 공개적으로 제공됩니다.

그래픽 사용자 인터페이스(GUI) 에이전트는 비전-언어 모델을 기반으로 하여 실제 애플리케이션에서 탭, 스와이프, 텍스트 입력 및 내비게이션 등의 인터페이스 동작을 통해 사용자 작업을 종단간으로 완료한다. 그러나 기존의 GUI 에이전트는 대부분 오프라인 궤적, 시뮬레이션 환경 및 표준화된 벤치마크에서 훈련 및 평가된다. 이들은 실제 애플리케이션의 인터페이스 레이아웃, 상호작용 로직 및 비정상 상태 분포와 상당히 다르며, 계정 상태, 권한 대화상자, 결제 인증 및 리스크 제어가 지속적으로 상태 분포를 변화시켜 벤치마크 점수와 실제 사용성 사이에 지속적인 격차를 초래하는 실제 환경에서의 실행 안정성을 충실히 특성화하지 못한다. 이러한 격차를 해소하기 위해, 우리는 실제 모바일 환경을 위한 네이티브 멀티모달 GUI 에이전트인 Xiaomi-GUI-0을 제안하며, 이는 실제 기기 폐쇄 루프 내에서 훈련 및 평가된다. 핵심은 실제 기기 중심의 하이브리드 인프라로, 물리적 기기가 주요 실행 환경이고 샌드박스가 보조 지원을 제공하여 데이터 수집, 훈련, 롤아웃 및 평가가 실제 배포와 유사한 실행 분포를 공유하도록 한다. 우리는 높은 빈도의 헤드 작업을 포괄하는 다중 소스 훈련 데이터, 긴 꼬리 의도를 위한 높은 일반화 데이터, 그리고 반성 및 메모리를 위한 능력 향상 데이터를 구축하고, 오류 주도 데이터 플라이휠을 도입하여 실패 궤적을 수정된 동작, 반성적 설명 및 복구 데모로 변환한다. 모델은 지도 미세 조정, 단계별 강화 학습 및 에이전트 강화 학습으로 구성된 점진적 3단계 파이프라인을 통해 훈련된다. 공개 벤치마크와 자체 RealMobile에서 평가된 Xiaomi-GUI-0은 RealMobile에서 72.0%, AndroidWorld에서 78.9%의 성공률을 달성하며, 실제 작업에서 실행 안정성과 비정상 상태 인식을 크게 개선한다.

다중 손가락 로봇은 인간 손의 속도와 손재주를 제공할 것을 약속하지만, 정밀 조립과 같은 까다로운 문제는 여전히 해결하기 어려운 과제로 남아 있다. 이러한 작업은 접촉이 많아 모방 학습을 위한 데이터 수집이 어렵고, 보상이 희소하여 강화 학습을 통한 직접적인 탐색이 다루기 어렵다. 따라서 기존 연구에서는 전용 그리퍼, 도구 부착물, 환경 고정물을 사용하여 문제를 구조화함으로써 진전을 이루었다. 본 연구에서는 로봇이 정밀 조립을 완벽하게 수행하기 전에 먼저 놀이를 배워야 한다고 주장한다. 또한, 놀이 학습 과정에서 정밀 조립에 영향을 미치는 요인이 무엇인지 질문을 제기한다. 우리는 다양한 객체와 목표에 대한 놀이를 통해 작업에 구애받지 않는 사전 학습을 수행한 후, 정밀 조립에 특화된 강화 학습 프레임워크인 Play2Perfect를 제안한다. 놀이의 목표는 파지, 손 안에서의 재배치, 자세 도달과 같은 재사용 가능한 조작 사전 지식을 획득하는 것이다. 이후 미세 조정을 통해 이 일반적인 사전 지식을 조립에 적용하여, 성공에 필요한 최종적인 접촉이 많고 고정밀 상호작용에 탐색을 집중시킨다. 우리는 놀이 사전 학습에서 객체 다양성, 훈련 목표, 궤적 다양성, 목표 정밀도 등 주요 설계 선택을 체계적으로 연구한다. 우리의 사전 지식은 밀집된 다단계 보상이 제공되더라도 처음부터 강화 학습을 훈련하는 것보다 33배 더 샘플 효율적임을 보여준다. 또한, 제로샷 시뮬레이션-실제 전이를 입증하여 접촉 간격이 0.5mm에 불과한 밀착 삽입에서 60%의 성공률을 달성하고, 장기 다중 부품 조립 및 나사 조임에서 50% 이상의 성공률을 달성한다.

최근 연구 환경에서는 대규모 언어 모델이 주도적인 역할을 하고 있지만, 소규모 언어 모델 또한 다양한 영역에서 여전히 중요한 관련성을 지니고 있음에도 불구하고 이에 대한 관심은 훨씬 적은 실정이다. 본 연구에서는 검색 증강 생성(RAG) 시스템 내에서 생성 단계에 소규모 언어 모델이 어떻게 수행되는지 조사하였다. 이러한 모델을 효과적으로 평가하기 위해 다양한 주제 영역과 질문 유형을 포함하는 오픈소스 및 독점 데이터셋을 활용하였다. 연구 결과는 소규모 언어 모델을 탑재한 RAG 시스템이 GPU 하드웨어 없이도 합리적인 시간 내에 기기 내에서 직접 실행될 수 있음을 보여준다. 실험 코드 및 추가 자료 링크는 GitHub 저장소(https://github.com/SibNN/SLM-RAG-EVAL)를 통해 확인할 수 있다.

LLM 에이전트는 점점 더 긴 시간 범위에 걸쳐 작동하며, 단일 궤적에 수백 또는 수천 개의 행동이 포함될 수 있습니다. 이러한 환경에서 결과 전용 보상은 너무 드문 지침만을 제공하여 중간 행동의 적절성에 대한 정보를 모델에 전달하지 못합니다. 밀집 감독 방법은 내재적 신뢰도부터 자기 증류, 임베딩 유사도에 이르기까지 중간 단계를 점수화하여 이 문제를 해결하는 것을 목표로 합니다. 그러나 이러한 방법을 통합한 학습 파이프라인의 하위 성능을 측정하여 평가하는 것이 일반적인 관행입니다. 이는 비용이 많이 들고, 감독 품질과 학습 엔지니어링 혼재 변수를 혼동하며, 서로 다른 학습 설정을 요구하는 다양한 방법론 계열을 비교 불가능하게 만듭니다. 그 결과, 밀집 감독 방법은 공통된 기준에서 거의 벤치마킹되지 않습니다. 우리는 밀집 감독 신호를 직접 평가하기 위한 학습 없는 테스트베드인 QVal을 소개합니다. QVal은 주어진 상태-행동 쌍에 대해 방법의 점수가 Q-정렬되어 있는지, 즉 강력한 참조 정책의 Q-값에 따라 행동을 순서화하는지 측정합니다. 이를 통해 학습 실행 전에 신호를 비교하고 신호 품질을 다른 엔지니어링 선택과 분리할 수 있습니다. 우리는 QVal을 QVal-v1.0으로 구체화하여, 네 가지 다양한 환경과 일곱 가지 방법론 계열에 걸쳐 21개의 밀집 감독 방법을 벤치마킹하고, 여섯 개의 오픈 가중치 모델 백본에서 1,200개 이상의 평가 실험을 수행했습니다. 우리는 간단한 프롬프팅 기준선이 문헌의 최근 밀집 감독 방법보다 일관되게 우수하며, 성능이 계열별로 강하게 군집화된다는 것을 발견했습니다. 이러한 결과는 모델 크기, 환경 및 관찰 양식에 걸쳐 유지됩니다. QVal은 새로운 환경과 방법에 쉽게 확장 가능하도록 설계되어, 연구자들이 학습 실행 전에 밀집 감독 방법을 반복적으로 개선할 수 있게 합니다.

자기회귀 변환기(Autoregressive Transformers)는 예술가 수준의 위상(topology)을 생성하여 고품질 메시(mesh) 생성을 지배하지만, 이들의 고유한 순차적 디코딩(sequential decoding)은 상당한 계산 오버헤드를 유발하여 병렬 생성 모델보다 수 배 더 느린 속도를 보인다. 반면, 연속 확산(continuous diffusion)과 흐름 매칭(flow-matching) 방법은 다양한 영역에서 효율적인 병렬 합성을 지원하지만, 메시에 직접 적용할 수는 없다. 메시 연결성(mesh connectivity)은 본질적으로 이산적(discrete)이며, 표준 연속 잡음 주입(noise injection) 및 잡음 제거(denoising) 연산과 호환되지 않기 때문이다. 이러한 근본적인 비호환성을 해결하기 위해, 우리는 컴팩트한 위상 임베더(topology embedder)를 도입한다. 이 임베더는 이산적인 메시 정점 위치(vertex positions)와 법선(normals)을 연속적인 정점별 임베딩(per-vertex embeddings)으로 투영하며, 여기서 원래의 이산적인 인접 정보(adjacency information)는 시공간 거리 임계값 처리(spacetime distance thresholding)를 통해 충실히 복원될 수 있다. 이 임베더를 사전 학습(pre-training)하고 고정(freezing)한 후, 모든 원시 메시는 위치, 법선, 암시적 위상 속성(implicit topological attributes)을 통합하는 연속적인 정점별 상태 공간(continuous per-vertex state space)으로 완전히 변환될 수 있다. 이 새로운 연속 메시 표현을 기반으로, 우리는 추출된 점군 특징(point-cloud features)에 조건화된 완전 병렬 정점 상태 잡음 제거(fully parallel vertex state denoising)를 달성하는 Transformer 기반의 흐름 매칭 프레임워크인 PolyFlow를 제시한다. 추론 시, 우리의 모델은 ODE 솔버를 통해 신속하게 생성을 완료하며, 목표 정점 개수를 직접 지정하여 출력 메시 해상도(output mesh resolution)를 명시적이고 정밀하게 제어할 수 있다. Toys4K 벤치마크에 대한 광범위한 평가는 PolyFlow가 Chamfer 거리(Chamfer Distance)와 Hausdorff 거리(Hausdorff Distance) 모두에서 최첨단 자기회귀 기준선을 능가함을 보여준다.

재료 과학 문헌은 수십 년간의 실험적 지식을 도면으로 인코딩하고 있지만, 이 시각적 기록은 여전히 잠겨 있어 AI가 대규모로 접근하기 어렵습니다. 핵심적인 어려움은 구조적입니다. 대부분의 과학 도면은 복합적이며, 하나의 캡션이 여러 서브패널을 동시에 설명하기 때문에 직접적인 이미지-텍스트 쌍 설정이 신뢰할 수 없습니다. 본 연구에서는 MatMMExtract을 제시합니다. 이는 종단 간 오픈소스 파이프라인으로, 복합 도면을 개별 서브패널로 분해하고, 큐레이팅된 재료 과학 분류체계에 따라 안내되는 대규모 언어 모델을 사용하여 구조화되고 근거 기반의 주석을 생성함으로써 이 문제를 해결합니다. 14,810개의 오픈 액세스 논문에 적용된 MatMMExtract은 MatSciFig를 생성합니다. 180,571개의 도면에서 추출된 391,606개의 패널 수준 이미지-텍스트 쌍으로, 각각 하위 캡션, 19개 클래스와 100개 이상의 하위 유형에 걸친 2단계 시각화 범주, 그리고 과학적 요약이 주석으로 달려 있습니다. 정확한 패널 위치 파악을 위해 MaterialScope를 도입합니다. 이는 2,811개의 수동 주석이 달린 재료 과학 도면으로 구성된 도메인 특화 탐지 데이터셋이며, 미세 조정된 YOLO12-m 탐지기가 mAP_50 0.9227을 달성했습니다. 벤치마킹된 6개의 언어 모델 중에서 Gemini 3.1 Flash Lite가 주석 생성을 위한 최고의 비용-품질 트레이드오프를 제공하며, 출력의 82%가 '좋음'으로 평가되고 환각률은 4.8%입니다. MatSciFig에 대한 이중 인코더 검색 기준선은 제로샷 CLIP 대비 R@1에서 4.4배 향상을 달성하여, 이 데이터셋이 시각-언어 학습에 즉각적으로 유용함을 입증합니다. 모든 리소스는 커뮤니티에 공개됩니다.

에이전트 강화 학습에서는 검색, 클릭, 편집, 탐색 명령, 객체 상호작용 등 환경과의 상호작용을 수행하는 행동에 대한 신용을 할당해야 한다. 표준 GRPO는 최종 검증기 결과를 모든 행동 토큰에 대한 균일한 이점으로 사용한다. 이 결과 신호는 유용하지만 구조적으로 불완전하다. 실패한 롤아웃에서 유용한 탐험을 처벌하고, 성공한 롤아웃에서는 중복되거나 퇴행적인 행동을 강화한다. 본 논문은 TRIAGE를 제안하며, 이는 결과 신용에 의미 롤 축을 추가하는 역할 유형 신용 할당 프레임워크이다. 구조화된 판정자가 각 세그먼트를 결정적 진전, 유용한 탐험, 진전 없는 기반 구조, 또는 퇴행으로 분류하고, 고정된 역할 조건 규칙이 이러한 레이블을 경계가 있는 세그먼트 수준 프로세스 보상으로 매핑한다. 이는 검증기 결과를 최적화 방향의 원천으로 유지하면서, 결과 기반 신용의 두 가지 주요 맹점을 보정한다. 또한 역할 조건 신용이 역할 레이블만으로 표현 가능한 세그먼트 수준 최적 보정임을 보인다. 이는 역할 변수에 대한 세그먼트별 이점 잔차의 투영에 해당하므로, 판정자가 신뢰할 수 있을 때마다 고정된 역할 상수가 이점 추정 오차를 줄이며, 이를 더 낮은 분산의 정책 그래디언트와 연결한다. ALFWorld, Search-QA, WebShop 전반에 걸쳐 TRIAGE는 두 가지 정책 모델에 대해 GRPO보다 성공률을 향상시키며, 스칼라 판정자 기반 프로세스 보상 및 결과 지도 공유 백본 가치 기준선을 모두 능가한다. 절제 실험은 이득이 단순히 밀집 보상을 추가하는 것이 아니라 역할 유형 구분에서 비롯됨을 보여준다. 성공적인 궤적 내에서 퇴행을 신뢰성 있게 탐지하는 것이 주요 기여 요인이며, 탐험 신용은 일관된 부차적 이득을 제공한다. 완료된 ALFWorld 및 WebShop 롤아웃에서 TRIAGE는 GRPO 대비 환경 상호작용 횟수를 각각 10.4% 및 14.8% 추가로 감소시킨다.

외부 감각 자극과 내부 신경 활동 간의 양방향 대응 관계를 모델링하는 것은 신경과학의 중요한 프론티어로 부상했다. 그러나 기존 접근법은 뇌 부호화(encoding)와 복호화(decoding)를 주로 단일 양식 정렬(unimodal alignment)과 외부 사전 정보에 의존하는 독립된 과제로 취급하며, 뇌가 본질적으로 다중 양식 통합 시스템(multimodal integration system)임을 간과한다. 이러한 한계를 극복하기 위해 우리는 BrainJanus를 제안한다. 이는 뇌, 시각, 언어를 단일 프레임워크 내에서 통합하는 최초의 통합 뇌 모델이다. 구체적으로, 통합 뇌 토크나이저(Unified Brain Tokenizer)를 도입하여 연속적인 신경 역학을 시각 및 언어 표현과 정렬된 이산 토큰으로 양자화하며, 이를 공유된 Omni 공간에서 수행한다. 이를 기반으로 올인원 자기회귀 아키텍처(All-in-One autoregressive architecture)를 활용하여 다음 토큰 예측(next-token prediction)을 통해 원활한 임의-대-임의 생성(any-to-any generation)을 가능하게 한다. 여기에는 이미지-대-뇌 및 텍스트-대-뇌 부호화, 그리고 뇌-대-이미지 및 뇌-대-텍스트 복호화가 포함된다. 광범위한 실험을 통해 BrainJanus가 다양한 벤치마크에서 우수한 성능을 달성함을 입증한다. 또한, 본 프레임워크는 제로샷 일반화(zero-shot generalization)를 보여주며 해석 가능한 생물학적 지형(biological topography)을 유지하여, 범용 뇌 모델링 패러다임으로서의 잠재력을 강조한다. 코드는 https://github.com/HaitaoWuTJU/BrainJanus{GitHub}에서 확인할 수 있다.

현대의 대규모 언어 모델(LLM)은 사후 훈련 단계에서 강화 학습을 활용하여 특정 능력을 향상시키지만, 여러 능력을 하나의 모델에 통합하는 것은 여전히 어려운 과제입니다. 기존 방법론인 오프-정책 미세 조정(Off-Policy Finetune)이나 혼합 강화 학습(Mix-RL)은 효율성이 떨어지거나 성능 저하를 초래합니다. 본 연구에서는 다중 도메인 강화 학습 교사들의 능력을 결합하기 위한 사후 훈련 패러다임인 다중 교사 온-정책 증류(Multi-teacher On-Policy Distillation, MOPD)를 제안합니다. 먼저 각 도메인에 특화된 강화 학습을 수행하여 도메인 교사 집합을 구축하고, 이후 학생 모델이 자체적으로 생성한 롤아웃(rollout) 데이터를 기반으로 이 교사들을 증류합니다. 이를 통해 노출 편향을 제거하고 밀집된 최적화 신호를 제공합니다. Qwen3-30B-A3B 모델에서 MOPD는 Mix-RL, Cascade RL, Off-Policy Finetune, Param-Merge 기준선을 능가하며, 각 교사 능력의 거의 전부를 계승합니다. 또한 MOPD는 도메인 교사들의 병렬적이고 독립적인 개발을 가능하게 하여, 다중 도메인 사후 훈련에서 흔히 발생하는 교차 도메인 결합 문제를 해결합니다. MOPD는 산업 규모의 프런티어 모델인 MiMo-V2-Flash의 사후 훈련에 실제로 배포되어, 프런티어 규모 LLM에서의 능력 통합에 대한 실용적 가치를 입증하였습니다.

오디오-비디오 생성은 최근 연구 관심을 전례 없이 받으며, 청각 및 시각 구성 요소 간의 미세한 동기화와 의미적 정렬을 갖춘 고품질의 소리가 포함된 비디오 콘텐츠를 합성하는 것을 목표로 한다. 기존 방법들은 주로 각 모달리티별로 분리된 토큰화 및 생성 모듈을 갖춘 이중 분기 설계를 채택하여 표현 격차를 무시하는 동시에 적절한 훈련을 위해 집중적인 계산 자원을 필요로 했다. 1차원 시각 토큰화의 최근 발전에 영감을 받아, 우리는 통합적인 오디오-비디오 생성을 위해 설계된 새로운 통합 토크나이저인 AVTok을 제시한다. AVTok은 공유 인코더-디코더와 모달별 학습 가능한 쿼리를 갖춘 이중 스트림 트랜스포머 기반 아키텍처를 특징으로 하며, 오디오-비디오 쌍을 통합 코드북을 사용하여 효율적이고 효과적으로 하나의 컴팩트한 1차원 잠재 표현으로 인코딩한다. AVTok이 정렬된 오디오-비디오 정보를 활용하지 못하게 방해하는 이질적 정보 불균형을 해결하기 위해, 우리는 각 모달리티에 대한 재구성 능력을 점진적으로 실현하는 계층적 학습 전략을 고안했다. 광범위한 실험을 통해 AVTok이 오디오-비디오 재구성뿐만 아니라 오디오-비디오 변환, 비디오-오디오 변환, 클래스 조건부 공동 오디오-비디오 생성을 위한 하위 파이프라인에 통합될 때에도 뛰어난 성능을 보임을 입증했다. AVTok은 공동 오디오-비디오 토큰화라는 과제를 해결하는 길을 열며, 오디오-비디오 생성을 위한 통합 대규모 멀티모달 모델을 구축할 수 있는 잠재적 방향성을 제시한다.

생성 모델은 놀라운 발전을 이루었지만, 이를 위성 영상에 적용하는 것은 여전히 어려운 과제로 남아 있다. 자연 영상과 달리 위성 장면은 공간적으로 복잡하고 의미적으로 구별되는 기하학적 구조로 이루어져 있다. 기존 연구는 이러한 복잡성을 해결하기 위해 조밀한 래스터(dense raster)나 희소 프롬프트(sparse prompt)를 사용하여 자연 영상 프레임워크를 변형하는 방식을 취해왔으며, 이는 주석 비용과 충실도 사이에서 절충을 이루면서 지리 정보를 표현하는 데 흔히 사용되는 벡터 기본 요소와의 호환성을 저해했다. 본 논문에서는 TerraDiT-Ω, 즉 네이티브 지리공간 기본 요소로부터 직접 위성 영상을 생성하는 통합된 공간 제어 프레임워크를 제안한다. 정밀한 주석(다각형, 폴리라인)과 더 거친 주석(경계 상자, 점)을 함께 활용함으로써, 모델은 다양한 주석 예산에 걸쳐 제어 가능한 레이아웃을 지원하며, 도시 계획과 같은 설계 작업에 대한 적용성을 넓히고 종단 간 GeoAI 워크플로우와 자연스럽게 호환된다. 생성 과정에서 이러한 기본 요소를 효과적으로 활용하기 위해, 우리는 기하학 인식 국소 주의(Geometry-Aware Local Attention)라는 조건화 메커니즘을 제안한다. 이는 명시적인 기하학적 단서를 주의 공간에 주입하는 방식이다. 모든 조건화 형식에서 우리의 접근 방식은 조밀한 제어 및 희소 제어 기준선을 일관되게 능가한다. 더 나아가, 이러한 유연성은 단일 생성 모델을 사용한 제어 가능한 합성 데이터 증강을 가능하게 하여, 토지 피복 분할, 객체 탐지, 도로 그래프 추출, 장면 분류 등 하위 작업의 성능을 향상시킨다. 코드, 데이터 및 가중치는 https://github.com/mvrl/TerraDiT에서 확인할 수 있다.

기반 모델은 다양한 과제에 전이 가능한 풍부하고 재사용 가능한 표현을 제공함으로써 비전 및 언어 처리를 혁신해 왔다. 음악 언어의 시각적 인코딩인 악보는 이러한 강력한 도메인 특화 백본이 부족하다. 우리는 MuSViT(악보 비전 트랜스포머)을 소개한다: IMSLP의 970만 페이지에서 Masked Autoencoder를 통해 사전 훈련된 ViT 인코더로, 악보 표현을 위한 최초의 기반 비전 모델이다. 실제 악보의 복잡성을 처리하기 위해 우리는 2단계 커리큘럼을 채택한다: 조판 악보에 대한 합성 워밍업 후 전체 IMSLP 코퍼스에 대한 대규모 훈련으로 구성된다. 우리는 네 가지 다운스트림 작업(전체 페이지 및 오선 단위 악보 인식, 음악 기호 검출, 악보 난이도 분류)에서 두 가지 시나리오(선형 프로빙(고정 인코더) 및 미세 조정)로 MuSViT을 평가한다. 선형 프로빙에서 MuSViT은 현대 비전 인코더보다 일관되게 우수한 성능을 보이며, 규모에 관계없이 범용 표현이 악보의 구조적 기호 특성에서 체계적으로 부족함을 드러낸다. 미세 조정에서 MuSViT은 일반적으로 작업별 최첨단 방법보다 성능을 향상시킨다. 추가적인 임베딩-전사 일관성 분석은 MuSViT이 기호 음악 구조를 표현 공간에 직접 인코딩함을 보여주며, 이는 다른 인코더의 임베딩이 악보 내용과 상관관계가 없는 것과 대조적이다. 이러한 결과는 MuSViT을 악보 이해를 위한 기반 백본으로 확립한다.

현재 운영 체제는 인간 사용자에 최적화된 인터페이스를 제공하지만 AI 에이전트를 위해서는 그렇지 않습니다. 인간은 픽셀, 아이콘, 창, 시각적 그룹화, 마우스 움직임, 키보드 단축키의 이점을 누리는 반면, AI 에이전트는 대신 간결한 의미 상태, 근거 있는 동작, 신뢰할 수 있는 피드백이 필요합니다. 결과적으로 많은 컴퓨터 사용 에이전트는 스크린샷, OCR 출력, 시각적 크롭을 해석해야 하며, 이는 높은 토큰 비용, 시각적 모호성, 지연 시간, 좌표 불확실성을 초래합니다. 본 논문에서는 AI 에이전트와 운영 체제 간의 의미적 상호작용 계층인 LUMOS(Language Model Unified Machine-Readable Operating-System Semantics)를 소개합니다. LUMOS는 네이티브 접근성 메타데이터와 브라우저 UI 구조를 안정적인 식별자, 역할, 이름, 값, 경계, 동작 가능성을 갖춘 기계 판독 가능 의미 청사진으로 변환합니다. 또한 운영 체제 자동화 API를 통해 커서 아래 또는 근처의 UI 요소를 질의함으로써 실시간 의미 포인터 접지를 지원합니다. 그런 다음 LLM은 애플리케이션별 스크립트 대신 제한된 가시 UI 프리미티브를 사용하여 접근성 기반 관찰-행동 루프를 통해 동작합니다. LUMOS는 시각적 에이전트를 대체한다고 주장하지 않습니다. 대신 운영 체제가 이미 의미 구조를 제공하는 경우 스크린샷에 대한 의존성을 줄입니다. 이러한 결과는 AI 네이티브 운영 체제와 기계 판독 가능 상호작용 계층으로의 경로를 시사합니다.

SWE-Interact를 소개합니다. 이는 다중 턴, 대화형, 사용자 주도 소프트웨어 공학 작업에서 코딩 에이전트를 평가하기 위한 새로운 테스트베드입니다. 기존의 최첨단 SWE 벤치마크는 일반적으로 완전한 요구사항을 사전에 제공하고 자율적 구현에 대해 에이전트를 평가합니다. 반면, SWE-Interact는 에이전트를 현실적인 개발자 워크플로우에 배치합니다. 즉, 신중하게 설계된 사용자 시뮬레이터가 모호하거나 불완전한 지시로 시작하여 점진적으로 요구사항을 공개하고, 에이전트의 작업 공간을 검사하며, 전체 작업 목표가 전달될 때까지 맞춤형 피드백, 수정 및 새로운 제약 조건을 제공합니다. 실제 코딩 에이전트 상호작용에 대한 대규모 연구에 기반한 이 설정은 에이전트가 사용자 의도를 발견하고, 진화하는 요구사항에 적응하며, 기존 작업을 기반으로 구축할 수 있는지 테스트합니다. 최첨단 및 오픈 가중치 모델 제품군에 걸친 평가에서, 단일 턴 SWE 작업에서의 강력한 성능이 다중 턴, 사용자 주도 워크플로우로 안정적으로 전이되지 않음을 발견했습니다. 최고 성능 모델은 단일 턴 기준 작업의 약 50%를 해결하지만, 해당 SWE-Interact 작업의 25%만 해결합니다. 평가에서 가장 강력한 모델인 Opus 4.8과 GPT 5.5는 모호한 초기 지시에도 강력하게 시작하여, 사용자가 모든 요구사항을 표면화할 때까지 지속하고, 이를 더 잘 통합하며 깔끔한 코드를 작성합니다. 그러나 여전히 과도한 에이전트 코딩, 요구사항 망각 및 기술적 오류로 어려움을 겪습니다. 약한 모델은 모호한 상황에서 시작부터 부진하고, 일찍 포기하며, 지시를 잊거나 무시하고 코드를 더 많이 재작업합니다. 전반적으로 SWE-Interact는 최첨단 모델 개발을 위한 직교적이고 실제적인 능력 축, 즉 사용자 루프 내에서의 대화형 목표 발견 및 반복적 개선을 측정합니다.

오픈소스 라이브러리와 도구는 널리 재사용되지만, 호환성 유지 비용이 높다. 관리자가 떠나면 런타임과 의존성이 진화함에 따라 유용한 저장소가 더 이상 작동하지 않을 수 있다. 본 연구는 LLM 에이전트가 오래된 저장소를 현대 환경에 적응시킬 수 있는지, 즉 호환성 구조(compatibility rescue)라는 과제를 탐구한다. 버그 수리와 달리 호환성 구조는 원래 환경에서는 작동했지만 생태계 변화 후 실패하는 저장소에서 시작된다. RepoRescue는 에이전트에게 저장소와 실패하는 현대 환경만 제공하며, 에이전트는 실패를 진단하고 영향을 받은 코드를 찾아 역사적 테스트 스위트를 복원하는 소스 코드 구조 작업을 수행해야 한다. 우리는 Python 193개와 Java 122개 저장소로 RepoRescue를 구축했으며, 각 저장소는 과거에는 통과했지만 현대화 후 실패하는 것으로 검증되었다. Python에서는 5개, Java에서는 3개의 배포된 에이전트 시스템을 평가했다. 전체 패치 통과율 외에도 테스트 파일 수정을 제거한 후 패치를 재실행하여 소스 전용 수리를 측정하고, 테스트 편집을 차단하는 런타임 강제 방식을 추가했으며, 구조 후 스위트가 통과한 저장소의 실제 사용을 검증했다. Claude Code 시스템은 지시에도 불구하고 실패하는 테스트를 편집하는 경우가 있으며, 런타임 차단 시 Kimi는 여전히 41.5%의 저장소를 구조한다. 시스템은 상호 보완적이며, 이들의 합집합은 62.7%에 달해 최고 단일 시스템보다 10.9%포인트 높다. 난이도는 파일 간 조정에 집중된다. 코드베이스 전체의 조정이 필요한 14개 저장소에서 GPT-5.2(Codex를 통해)는 14개 모두 통과한 반면, 모든 Claude Code 시스템은 최대 2개만 통과했다. 마지막으로, 통과하는 스위트는 초기 신호일 뿐이다. 구조 후 스위트가 통과한 34개의 관리되지 않는 Python 후보 중 22개는 실제 시나리오에서 작동하고, 12개는 호환성 실패를 해결하는 패치로 버그 사냥을 통과한다. RepoRescue는 소스 전용 감사, 런타임 강제, 실용적 검증, 추론 레이블을 통해 호환성 구조를 벤치마킹한다.

대규모 언어 모델(LLM)은 실제 세계에서 행동을 수행하고 인간의 의사 결정을 지원하는 데 점점 더 많이 사용되고 있지만, 대부분의 에이전트는 파라메트릭 지식, 고정된 사후 학습 데이터, 검색 또는 탐색에 의존합니다. 이러한 패러다임은 새로운 영역이나 선행 지식만으로는 답할 수 없는 정교한 질문에서는 작동하지 않습니다. 예를 들어, 물리 법칙을 아는 것만으로는 복잡한 물리 시스템에서 LLM이 질문에 답하거나 장기적 과제를 완료할 수 없습니다. 이를 해결하기 위해, 우리는 능동적 실험을 통해 학습하는 컨텍스트 내 자기 개선 프레임워크인 계층적 실험자 에이전트(HExA)를 소개합니다. HExA는 질문과 관련된 실험을 반복적으로 설계 및 개선하고, 경험으로부터 재사용 가능한 조합 가능한 기술 라이브러리를 학습하며, 실험 증거를 통합하여 질문에 답하거나 행동을 수행합니다. HExA는 학습이 필요 없으며, 모든 블랙박스 모델과 호환되고, 외부 감독, 오라클 또는 오프라인 데이터가 필요하지 않습니다. 능동적 실험을 평가하기 위해, 우리는 PHYRE 2D 절차적 물리 환경 기반의 도구 호출 벤치마크인 Interphyre를 소개합니다. 여기서 에이전트는 시뮬레이션 API를 통해 중재를 제안하고 가설을 테스트합니다. 실험에 따르면 현재의 LLM 에이전트는 이러한 환경, 특히 Interphyre의 가장 어려운 레벨에서 어려움을 겪습니다. Claude Sonnet 4.6은 2%의 성공률만을 달성하는 반면, HExA는 동일 모델의 성공률을 최대 77%까지 향상시킵니다. HExA는 또한 오픈 가중치 모델을 개선하고 ReAct 및 Reflexion과 같은 에이전틱 베이스라인을 능가합니다. 더욱이, 더 쉬운 레벨에서 학습된 기술만을 사용하고 능동적 실험 없이 전이하여 HExA는 44%의 성공률을 달성하며, 학습된 기술의 재사용성과 일반화를 입증합니다. 전반적으로, HExA는 능동적 실험을 통한 학습이 에이전트가 유용한 지식을 발견하고, 재사용 가능한 기술을 습득하며, 새로운 장기적 과제에서 효율적으로 진전할 수 있도록 도움을 준다는 것을 보여줍니다.

본 논문에서는 사전 훈련된 확산 트랜스포머(diffusion transformer)에 구형 사전 정보(spherical priors)를 직접 주입함으로써 360도 파노라마 이미지 및 비디오를 생성하는, 제로샷(zero-shot), 학습 불필요(training-free), 최적화 불필요(optimization-free) 프레임워크를 제시한다. 기존 방법은 희소한 파노라마 데이터에 대한 비용이 많이 드는 미세 조정(fine-tuning)에 의존하여 일반화 능력을 제한하거나, 다단계 최적화를 활용하여 금지할 정도로 높은 추론 지연 시간을 초래한다. 우리는 현대 생성 모델이 대규모 학습을 통해 본질적으로 일부 파노라마 사전 정보를 내포하고 있음을 관찰한다. 그러나 이러한 창발적 능력은 불충분한데, 이는 모델이 근본적으로 에퀴렉탱귤러 투영(equirectangular projection, ERP)이 부과하는 엄격한 위상적 제약 조건을 만족하지 못하기 때문이다. 우리는 이러한 제약 조건을 추론 시점에서 해결하는 제로샷 및 최적화 불필요 접근법을 도입한다. 구형 RoPE(Spherical RoPE)는 표준 회전 위치 임베딩(rotary position embedding)을 대체한다: 저주파 채널은 구형 다양체를 본질적으로 인코딩하기 위해 3차원 데카르트 좌표(Cartesian coordinate)로 재매개변수화되고, 고주파 채널은 정확한 주기성을 강제하기 위해 조화 양자화(harmonic quantization)된다. 기하학을 명시적으로 조정하는 보완적인 의미 왜곡 분류기 없는 유도(classifier-free guidance, CFG)와 결합하여, 재훈련을 피하면서 최첨단 모델의 전체 창의적 범위를 계승한다. 우리의 접근법은 다양한 백본(backbone) 및 360도 생성 양식에 걸쳐 일반화된다. Flux.1, Flux.2, LTX-Video 백본을 사용한 텍스트-파노라마 생성에서 이를 입증하며, 학습이 전혀 필요 없음에도 불구하고 기준선(baseline) 대비 경쟁력 있는 성능을 달성한다. 프로젝트 페이지: https://orhir.github.io/SpheRoPE

인공지능 시스템은 일반적으로 작업 수행 능력과 행동 모방을 통해 평가되지만, 그러한 평가만으로는 인공 에이전트가 토대 기반 경험으로부터 새로운 어휘적 의미를 획득하고, 안정화하며, 사용할 수 있는지 여부가 불분명하게 남는다. 본 논문은 구조화된 지각적 기반 위에서 토대 기반 단어 학습을 연구하기 위한 실험적 프레임워크인 어휘 합의(Lexical Consensus)를 소개한다. 고정된 DINOv2 시각적 임베딩, 캐럴 방식의 임시어(Carroll-style nonce words), 해석 가능한 어휘 학습기와 선형 기준 모델을 사용하여, 에이전트가 시각적 개념에 대한 인공 레이블을 획득하고, 이를 양방향으로 일반화하며, 통제된 환경에서 안정화할 수 있는지 테스트한다. 주요 결과는 강건한 지각적 일관성 그라디언트(perceptual-coherence gradient)이다: 자연 범주(native categories)는 학습이 가장 용이하고, 일관된 확장(overextensions)은 여전히 학습 가능하며, 중간 범위의 분리 개념(disjunctive concepts)은 성능이 저하되고, 먼 분리 개념(far-disjunctive concepts)은 우연 수준에 가깝다. 사전 등록된 CIFAR-100 분리 실험은 이 그라디언트가 의미적 관련성보다는 지각적 거리에 의해 결정됨을 확인한다: 지각적 거리는 획득 정확도를 예측하며(부분 R^2 = 0.245, p < 1e-7), 의미적 거리는 유의미한 설명력을 추가하지 않는다(부분 R^2 = 0.002, p = 0.660). 양방향 평가는 명명(naming)과 인출(retrieval)이 별개의 과정임을 보여준다: 예시 기반 메커니즘은 레이블-이미지 인출에서 중심점 프로토타입(centroid prototypes)보다 우수하며, 명명 정확도와는 별개의 기억 충실도(memory-fidelity) 차원을 드러낸다. 반증 통제(falsification controls), 동질적 후보 풀 평가, 표상 재구조화에 대한 귀무 결과는 고정된 지각적 기하학이 어휘적 토대화를 가능하게 하는 동시에, 표상 적응 없이 획득 가능한 것을 제한함을 시사한다.

기존의 명령 기반 비디오 편집 데이터셋은 일반적으로 단일 작업 외관 편집에 초점을 맞추어, 실제 시나리오의 복잡한 창의적 요구를 충족하지 못합니다. 이러한 격차를 해소하기 위해, 우리는 2백만 개의 고품질 명령 정렬 비디오 편집 쌍을 포함하는 대규모 데이터셋인 Goku를 제시합니다. 이는 기본 외관 편집에서 다중 작업 및 구조적 조작(예: 객체 움직임의 정밀 제어)으로 작업 경계를 확장한 최초의 데이터셋입니다. 이러한 복잡한 작업에 내재된 데이터 합성 문제를 해결하기 위해, 우리는 복잡한 편집을 제어 가능한 하위 문제로 분해하는 효율적인 데이터 합성 파이프라인을 설계하고, 전체 과정에서 데이터 신뢰성을 위한 점진적 필터링 시스템을 도입합니다. 또한, 우리는 Goku에서 최적의 네트워크 구조를 탐색하고 Goku-Edit을 제안합니다. 복잡한 편집 명령을 깊이 이해하기 위해, Goku-Edit은 MLLM을 텍스트 인코더로 활용하고 분리된 이중 분기 설계를 채택합니다. 전용 마스크 분기는 구조적 제어를 처리하여 주 분기가 외관 렌더링에 집중할 수 있도록 합니다. 또한 1,000개의 인간 검증 테스트 사례와 7개의 새로운 편집 특화 메트릭을 포함하는 포괄적인 비디오 편집 벤치마크인 Goku-Bench도 제안됩니다. Goku-Bench에서 평가된 Goku-Edit은 명령 수행 측면에서 다른 오픈소스 모델 대비 최대 +8%의 개선을 달성합니다.

음성 언어 모델(SLM)은 대규모 언어 모델(LLM)을 음성 입력 및 출력으로 확장한다. 기존 SLM은 음성을 고정 프레임 속도(예: 25Hz 또는 12.5Hz)로 표현하여 음성의 시간에 따라 변하는 정보 밀도를 무시하고, 추론 시 품질과 속도를 절충할 수 있는 유연성을 제공하지 않는다. 최근 오디오 토크나이저 연구에서는 이러한 비균일성을 활용하여 매우 낮은 평균 프레임 속도와 프레임 속도 제어 가능성이라는 두 가지 새로운 기능을 가능하게 하는 동적 프레임 속도 음성 코딩을 제안했다. 그러나 이 기술은 아직 SLM에 적용되지 않았다. 본 논문에서는 음성 입력과 출력 모두에서 동적이고 제어 가능한 프레임 속도를 지원하는 최초의 SLM인 FlexiSLM(Flexible Spoken Language Model)을 소개한다. 동적 프레임 속도 표현을 사용하여 FlexiSLM은 높은 품질의 작동 지점에서 Qwen2.5-Omni 및 Kimi-Audio를 포함한 고정 프레임 속도의 7B 모델보다 성능이 뛰어나다. 또한 FlexiSLM을 4.0Hz까지 정확하게 제어할 수 있음을 확인했다. 6.25Hz에서는 12.5Hz에 비해 추론 시간을 대략 절반으로 줄이면서도 강력한 음성 간 음질을 유지한다. 오디오 샘플은 https://flexislm.github.io 에서 확인할 수 있다.