일간 논문

화학 문헌 종합은 종종 여러 출판물에 흩어져 있는 특정 발견들을 수집해야 하지만, 기존의 문헌 검색 시스템은 주로 순위화된 문서 목록을 반환한다. 그 결과, 과학자와 AI 에이전트는 관련 정보를 찾고, 출처를 검증하며, 논문 간 답변을 수동으로 조합해야 한다. 우리는 논문 간 화학 검색을 위한 주장 중심 인프라인 AskChem을 제시한다. AskChem은 검색의 단위를 논문에서 출처를 포함한 주장으로 전환한다: 각 논문은 원자적이고 유형화된 주장들로 변환되며, 각 주장은 출처 DOI와 원문 그대로의 인용 또는 명시적 증거 위치 표시자에 근거한다. 이 공유 주장 저장소를 기반으로 AskChem은 검색과 종합을 위한 상호 보완적 구조를 제공한다: 계층적 검색 및 탐색을 위한 안정화된 다면 분류 체계, 관계를 통해 주장들을 연결하는 증거 그래프, 그리고 색인된 논문을 과학적 원리에 따라 배치하는 탐색적 동적 분류 체계이다. AskChem은 현재 147K개 논문의 240만 개 주장을 색인하며, 웹 인터페이스와 AI 에이전트를 위한 REST, SDK 및 MCP 접근을 제공한다. AskChem-Bench에서 GPT-5.5 판독기를 AskChem에 근거시켰을 때 100%의 확인 가능한 DOI를 산출했으며, 이는 검색 없이 얻은 88.3%와 대비되고, 테스트된 다섯 시스템 중 가장 높은 인용 밀도를 보였다. AskChem은 https://askchem.org에서 운영 중이다.

GUI 에이전트는 기존 디지털 기기 위에서 범용 실행기가 될 잠재력을 지니고 있다. 실제 세계에서의 사용으로 발전시키기 위해, 우리는 실제 기기에서 안정적으로 작동하고, 플랫폼 간 워크플로우를 실행하며, GUI 상호작용과 CLI 실행을 결합하고, 장기 지평 작업을 완료하며, 유용한 서비스를 선제적으로 시작하고, 최소한의 인간 노력으로 능력을 자율적으로 개선하는 에이전트를 구상한다. 이러한 비전에 따라, 우리는 모바일, 컴퓨터 사용, 웹 및 DeepSearch 환경을 포괄하는 실제 세계 중심의 기반 GUI 에이전트인 Qwen-UI-Agent를 제시한다. Qwen-UI-Agent는 다양한 샌드박스 환경과 대규모 실제 기기 모바일 런타임을 결합한다. 통합된 행동 공간은 GUI 작업과 CLI 실행을 교차시키며, 단일 모델 턴에서 배치된 행동을 생성한다. AutoResearch 방식의 데이터 플라이휠은 에이전트를 사용하여 작업과 환경을 구성하고, 실패를 진단하며, 후속 반복을 계획한다. 온라인 강화학습은 100턴을 초과하는 궤적에 대한 훈련을 지원하며, 10,000개 이상의 동시 환경이 롤아웃을 가속화한다. 경량 하네스 계층은 모바일과 컴퓨터 전반에서 선제적 서비스 시작과 상태 유지 워크플로우를 지원한다. 광범위한 평가 제품군 전반에 걸쳐, Qwen-UI-Agent는 모바일 사용 벤치마크에서 최첨단 성능을 달성하는 동시에 Opus 4.8, Gemini 3.1 Pro 및 GPT-5.6 Sol을 포함한 최첨단 모델들과 비교해 컴퓨터 및 브라우저 사용 작업에서 경쟁력 있는 성능을 제공한다. 모바일 사용에서는 MobileWorld에서 82.1%, MobileWorld-Real에서 92.2%, AndroidDaily에서 97.5%를 달성한다. 컴퓨터 사용에서는 OSWorld-Verified에서 79.5%, OSWorld-v2에서 40.0%의 부분 진행 점수를 달성한다. 브라우저 사용 및 GUI 그라운딩에서는 각각 WebArena에서 73.6%, ScreenSpot-Pro에서 81.5%를 달성한다.

최근 AI 에이전트의 발전은 기반 모델에 네이티브 기능을 점점 더 내재화하고 있으며, 이로 인해 다중 모달 기반 모델과 대규모 추론 모델이 등장하였다. 그러나 에이전트 메모리는 여전히 주로 외부 모듈을 통해 구현되고 있어, 네이티브 메모리 기능은 거의 탐구되지 않았다. 본 논문에서는 기반 모델에 네이티브 메모리 기능을 부여하는 메모리 기반 모델을 도입함으로써 이 방향으로의 첫 걸음을 내딛는다. 우리는 네이티브 메모리를 두 가지 관점에서 정식화한다: 백본 내의 지속적이고 동적으로 진화하는 메모리 상태, 그리고 모델 연산을 통해 정보를 자율적으로 저장하고 활용하는 네이티브 메모리 절차. 우리는 네이티브 메모리가 구조, 엔드투엔드 최적화, 효율성 측면에서 장점을 제공함을 보여준다. 이 정식화를 바탕으로 우리는 메모리 기반 모델의 첫 프로토타입인 Metis를 제안한다. Metis는 기반 모델에 네이티브 메모리 상태를 장착하는 새로운 아키텍처를 도입하여, 과거 정보를 모델에 압축하고 메모리 어텐션을 통해 접근할 수 있게 한다. 우리는 대규모 메모리 특화 학습 데이터를 구축하고 여러 최적화 목표를 도입하여 중간 학습을 통해 이러한 네이티브 메모리 절차를 획득한다. Metis의 온라인 메모리 유지보수는 그래디언트 프리이며, 메모리 업데이트는 순전파만 필요로 한다. 추론 시 학습된 모든 모델 가중치는 동결된 상태를 유지하고, 네이티브 메모리 상태는 표준 순전파 연산을 통해 자율적으로 변환된다. 광범위한 실험을 통해 우리는 Metis가 네이티브 메모리 기능을 보유함을 입증하고, 그 강점, 한계, 동작에 대한 상세한 분석을 제공한다. 메모리 기반 모델에 대한 향후 연구를 촉진하기 위해 프로젝트와 모델 체크포인트를 공개한다.

우리는 물리 언어(physical language), 즉 세계 상태 전이의 간결한 이산 표현을 기반으로 구축된 물리 세계 모델 PhiZero를 소개한다. 기존의 물리 세계 모델들은 일반적으로 미래 비디오를 픽셀 공간에서 직접 예측하여 이면의 세계 역학을 고차원 시각 예측기 내에 암시적으로 남겨 둔다. 인간이 시각 경험에서 예측 구조를 추상화하고 이를 자연어로 체계화하여 명시적 추론을 수행하는 능력에 착안하여, 우리는 실제 환경(in-the-wild) 비디오로부터 자기 지도 학습을 통해 물리 언어를 학습하고 이를 사용하여 물리 세계가 어떻게 진화하는지 명시적으로 추론한다. 이에 따라 PhiZero는 추론 후 렌더링(reason-then-render) 패러다임을 채택한다. 즉, 먼저 미래 세계의 진화를 물리 언어 시퀀스로 추론한 다음, 추론된 전이를 비디오로 렌더링한다. 생성 및 이해 벤치마크에 걸친 광범위한 실험은 PhiZero가 물리적으로 일관된 세계 진화를 모델링하는 능력을 검증한다. 나아가 사실적이고 상호작용적인 세계 모델링, 세밀한 행동 조건부 시뮬레이션, 제로샷 모션 전이에 대한 잠재력을 보여준다.

재귀적 자기 개선(RSI)은 AI를 구축하는 과정 자체를 개선하는 AI 시스템, 즉 AI4AI를 요구한다. 머신러닝 엔지니어링(MLE)은 이러한 능력을 연구하기 위한 구체적이고 실행 가능한 테스트베드를 제공한다. 본 연구에서는 검증 가능한 작업 환경과 실행 피드백(OpenMLE-Gym), 연산자 학습(OpenMLE-RL), 장기 지평 탐색(OpenMLE-Evo)을 포괄하는 MLE RSI 연구용 오픈 풀스택 시스템인 OpenMLE를 소개한다. 이 스택 위에서 우리는 Frontis-MA1(35B)을 MLE용 메타 진화 에이전트로 후속 학습시키며, 후속 학습과 추론을 네 가지 원자적 프로그램 진화 연산자(Draft, Improve, Debug, Crossover)를 중심으로 정렬한다. 동일한 연산자들은 모든 평가 벤치마크에 대해 중복 제거된 데이터에서 실행 기반 SFT(지도 미세 조정) 및 RL(강화 학습)로 학습된 후 장기 지평 탐색으로 구성되어, 학습과 진화를 단일 루프로 결합한다. 작업당 12시간 예산, 12GB VRAM으로 제한된 단일 RTX 4090 환경의 MLE-Bench Lite에서 Frontis-MA1(35B)은 OpenMLE-Evo를 사용하여 기본 모델 대비 Medal Average를 39.39%에서 60.61%로 향상시키고, OpenMLE-Evo-Max(벤치마크 독립적 경험 사전 및 비동기 탐색)를 사용하면 71.21%에 도달하여 GPT-5.5 + Codex를 능가하며 GPT-5.6 Sol 및 2.8T Kimi K3에 근접한다. 보류된 NatureBench Lite에서도 두 구성 요소 모두 전이된다. 즉, 프레임워크를 고정한 상태에서 학습된 모델로 교체하면 Match-SOTA가 50%에서 70%로 상승하고, 모델을 고정한 상태에서 OpenMLE-Evo로 교체하면 20%에서 50%로 상승한다. 우리는 RSI를 향한 실행 가능한 AI4AI 연구의 재현성을 지원하기 위해 모델 가중치와 전체 OpenMLE 스택을 공개한다. 코드: https://github.com/FrontisAI/OpenRSI

텍스트-비디오 모델은 놀라운 시각적 품질을 달성했지만, 장면의 시간적 전개가 고도로 압축된 텍스트 프롬프트로부터 암시적으로 추론되어야 하기 때문에 물리적으로 일관된 역학을 생성하는 데 여전히 어려움을 겪는다. 기존의 사고 사슬(chain-of-thought) 접근법은 중간 계획이나 시각적 상태를 도입하지만, 이러한 표현은 일반적으로 실행 가능하지 않거나 시간적으로 희소하여 완전한 시공간 과정을 구체화하고 제어하는 능력을 제한한다. 이 한계를 해결하기 위해, 우리는 실행 가능한 Blender 코드가 프로세스 수준의 사고 사슬 역할을 하는 에이전트 기반 이중 엔진 프레임워크인 VideoCoCo를 제안한다. 텍스트 프롬프트가 주어지면, 코딩 에이전트가 장면과 그 시간적 전개를 명시적으로 지정하는 Blender 프로그램을 합성한다. 실행 가능한 시뮬레이션 엔진은 프로그램을 실행하여 결정론적 시공간 초안을 생성하고, 이후 생성 비디오 엔진이 초안 조건화 편집(draft-conditioned editing)을 통해 이를 포토리얼리스틱 비디오로 변환한다. 이러한 분해는 프로세스 수준 추론과 고충실도 시각적 구현을 분리한다. 시뮬레이션된 초안에 비디오 편집기를 적응시키기 위해, 우리는 초안-지시-대상(draft-instruction-target) 삼중 항목으로 구성된 큐레이션 데이터셋인 VideoCoCo-3K를 구축한다. VideoCoCo는 PhyGenBench에서 OmniWeaving 기준선을 0.475에서 0.558로, VBench-2.0에서는 52.18에서 77.88로 향상시켜 두 벤치마크 모두에서 최고 평균 점수를 달성한다. 이러한 결과는 실행 가능한 코드가 물리적으로 일관된 비디오 생성을 위한 효과적이고 제어 가능하며 검사 가능한 중간 표현을 제공함을 보여준다.

디코더 전용 언어 모델은 장기 메모리와 추론을 단일 파라미터 집합에 얽어매므로 메모리 용량을 독립적으로 확장하기 어렵게 만든다. Memory Decoder는 파라메트릭 장기 메모리 모듈을 도입하지만, 비교적 작은 규모에서만 이를 연구했다. 본 연구에서는 메모리 모델을 최대 6.9B 파라미터로 확장하고 300B 토큰으로 사전학습한 Memory Decoder at Scale을 제시한다. 이러한 데이터 규모에서 인덱싱과 검색의 결합 비용은 표준 Faiss 파이프라인을 실행 불가능하게 만든다. 우리는 Faiss 인덱싱 및 검색을 위한 분산 파이프라인과 kNN 분포의 희소 배치 단위 로딩을 통해 이 병목 문제를 해결한다. 모델 규모 전반에 걸쳐, 메모리에 더 많은 파라미터를 할당하는 것이 기본 모델만 확장하는 것보다 더 나은 파라미터-성능 트레이드오프를 제공함을 확인했다. 17개 벤치마크에서 6.9B 일반 메모리를 Pythia-410M과 짝지으면 평균 점수가 29.86에서 37.34로 올라가며, 총 파라미터가 39% 더 적으면서도 Pythia-12B(37.24)를 능가한다. 0.6B에서 14B 범위의 Qwen3 Base 모델의 경우, 1.7B 도메인 메모리는 모든 규모에서 세 도메인에 걸친 평균 점수를 9점 이상 향상시킨다. 전체적으로, 우리의 결과는 사전학습된 메모리를 독립적으로 확장하는 것이 언어 모델 성능을 향상시키는 더 파라미터 효율적인 경로를 제공함을 보여준다.

에이전트 기반 시각 추론의 근본적인 목표는 다중모달 대규모 언어 모델(MLLM)의 복잡한 작업 성공률을 향상시키는 것이지, 단지 정교하지만 비효율적인 추론 방식을 갖추는 것이 아니다. 본 연구에서는 도구 사용의 두 가지 핵심 차원, 즉 모드 적응성(MA)과 도구 효과(TE)를 통해 에이전트 기반 시각 추론을 재고한다. 모드 적응성은 MLLM이 도구가 실제로 필요한 시점을 인식하고 그에 따라 도구를 호출할 수 있는지를 나타내며, 이를 통해 불필요한 계산 오버헤드를 피하면서 도구 지원이 필요한 어려운 문제에서 성능을 향상시킨다. 도구 효과는 도구 사용의 실제 영향을 나타낸다. 도구는 텍스트 전용 추론으로는 해결할 수 없는 문제에서 모델의 능력을 확장해야 하며, 도구 없이도 모델이 이미 해결할 수 있는 문제에서는 추가적인 오류를 유발하지 않아야 한다. 우리는 이 두 가지 속성을 정량화하기 위한 포괄적인 분석을 수행하고, 기존 에이전트 기반 시각 추론 모델이 모드 적응성이 제한적임을 경험적으로 밝힌다. 또한 어려운 예제에서 도구 사용이 가져오는 이득은 모델이 이미 해결할 수 있는 쉬운 예제에서 발생하는 손해에 의해 대부분 상쇄된다는 사실을 보여준다. 이러한 관찰에서 착안하여, 우리는 더 강력한 전반적 성능, 향상된 모드 적응성, 그리고 도구 사용으로 인한 실질적인 성능 향상을 달성하는 새로운 에이전트 기반 시각 추론 모델인 Beacon을 제안한다. Beacon의 핵심에는 강화 학습 단계에서의 필요성 인지 적응형 보상(Necessity-Aware Adaptive Reward)과 힌트 기반 능력 확장(Hint-Guided Capability Expansion) 메커니즘이 있다. 이들은 각각 작업의 필요성에 따라 적응적으로 도구를 호출하도록 장려하고, 가장 어려운 문제에서 모델의 도구 사용 능력을 강화한다. 다양한 벤치마크에 걸친 광범위한 실험을 통해 Beacon의 강력한 전반적 성능과 모드 적응성 및 도구 효과 양쪽에서의 실질적인 개선을 입증한다.

검색 증강 생성(RAG)은 어휘 기반 및 밀집 검색, 그래프 기반 인덱싱, 에이전트 기반 검색을 포괄하지만, 이러한 패러다임은 일반적으로 단일 코퍼스 규모에서 서로 다른 벤치마크로 평가되어 정확도-비용 확장성이 불분명하게 남아 있다. 이러한 간극을 메우기 위해, 우리는 질문과 관련 문서 및 적대적 문서의 고정된 기반층을 유지하면서 코퍼스 규모를 약 450배에 걸친 28개의 엄격히 중첩된 계층으로 변화시키는 통제 연구를 제시한다. 단일 리더 모델과 단일 평가 프로토콜 하에서, 우리는 공식 정확도, 구축 및 쿼리 토큰, 지연 시간을 측정한다. 결과는 무조건적인 승자가 아닌 규모 의존적 교차 현상을 보여준다. 파일 시스템 에이전트는 가장 작은 공유 계층에서 선두를 차지하지만, 기반층에서 순차적 탐색에 39배 더 많은 쿼리 토큰을 소비하며 검색 공간이 커질수록 효과성이 떨어진다. 약 1천만 코퍼스 토큰 시점에서 BM25가 이를 추월하여 더 큰 모든 공유 계층에서 선두를 유지하며, 전체 규모에서는 약 20포인트에 이르는 격차를 보인다. BM25는 또한 LLM 기반 구축 없이 파레토 경계의 저비용 끝단을 차지한다. 밀집 검색은 효율적이지만 정확도가 낮은 반면, 그래프 기반 RAG는 배포 규모에 도달하기 전에 구축 장벽에 직면하며, 그 확장 가능한 변형들도 공유 계층에서 BM25에 미치지 못한다. 전반적으로, 코퍼스의 성장은 점차 전역 후보 순위화에 유리하게 작용한다. 즉, 어휘 검색이 가장 강력한 확장 가능한 기본값이며, 에이전트 추론은 순위화된 발견을 대체하는 것이 아니라 그 이후에 수행될 때 가장 잘 작동한다.

개방형 도메인에서의 대규모 언어 모델 훈련은 검증 가능한 보상이 부족하여 작업 선호도를 효과적인 감독으로 공식화하기 어렵다. 컨텍스트는 그러한 선호도를 전달할 수 있지만, 학생 모델로 증류된 이후에는 추가적인 감독을 거의 제공하지 못하므로, 학생의 성과에 맞춰 진화하는 컨텍스트가 필요하다. 그러나 진화하는 컨텍스트를 훈련 중 감독으로 직접 사용하면 증류 대상이 불안정해지고 분포 간 충돌이 발생하므로, 대상을 안정화하고 충돌의 영향력을 낮추는 메커니즘이 요구된다. 본 논문에서는 역방향 KL 목적 함수의 분해를 통해 컨텍스트의 효과를 분석하여 두 가지 결과를 밝힌다. 첫째, 학생 모델은 컨텍스트 조건부 교사들의 기하 평균으로 증류된다. 둘째, 목적 함수에는 이러한 교사들 간의 충돌을 측정하는 충돌 항이 포함된다. 이러한 분해를 바탕으로, 본 논문은 개방형 도메인에서 작업 선호도를 포착하기 위해 진화하는 컨텍스트를 훈련 중 감독으로 사용하는 OPD 패러다임인 Flux-OPD를 제안한다. Flux-OPD는 컨텍스트 조건부 교사와 컨텍스트 비조건부 교사 간의 차이를 컨텍스트 차이 신호로 취급하고, 이를 컨텍스트 비조건부 교사 앵커에 컨텍스트 보정으로 주입하며, 충돌 항을 지표로 사용하여 보정 강도에 가중치를 부여한다. 개방형 작업에 대한 실험 결과, Flux-OPD는 기존 OPD 패러다임보다 우수한 성능을 보였으며, 이는 교사 감독과 진화하는 컨텍스트를 결합할 수 있는 잠재력을 강조한다.

텍스트-이미지 및 개인화 편집 모델은 이제 단일 대상 이미지를 높은 충실도로 손쉽게 합성한다. 그러나 포옹, 들기, 또는 맞붙기와 같은 공동 접촉 동작에서 여러 명의 지명된 인물을 배치하는 작업은 여전히 심각한 오류를 노출한다: 융합된 사지, 생성된 부속지, 그리고 상호 관통하는 신체가 그것이다. 기존 평가는 이러한 해부학적 및 기하학적 문제를 대체로 간과하며, VLM-심판 체크리스트는 상호작용 항목에서 종종 포화 상태에 이르는 반면 오류는 인간에게 명백하게 남아 있다. 우리는 405개 장면, 14개 상호작용 범주, 4가지 접촉 밀도(C0-C3)에 걸친 2,500개 샘플의 비디오 기반 편집 트리플릿 벤치마크인 MPIE-Bench를 소개한다. 또한 우리는 동결된 공개 다중 인물 메시 재구성에서 접촉 시간 기하 구조를 평가하는 두 개의 새로운 축을 갖춘 MPIE-Eval을 제안한다. 해부학(Anatomy) 축은 모든 인간형 질량이 완전한 재구성 신체 집합으로 설명되는지 여부를 묻고, 상호작용(Interaction) 축은 해당 신체들 사이의 관통 정도와 표면 거리가 지시문이 요청한 접촉과 일치하는지 여부를 묻는다. 10개 편집 모델에 걸쳐, 메시 기반 해부학 점수는 서로 다른 두 모델에서 최대 0.65, 메시 기반 상호작용 점수는 최대 0.72에 그쳐, 두 축 모두에서 강한 성능을 보이는 단일 편집 모델은 없었다. 반면 VLM 체크리스트는 동일한 이미지들을 0.95 이상으로 평가했다. 5인의 평가자 연구는 두 축 모두 제로샷 VLM 심판보다 인간 판단에 더 밀접하게 부합함을 확인했으며, 이러한 순위는 모든 가중치와 임계값의 제거 실험에서도 유지된다.

체화된 지능은 근본적인 데이터 병목 현상에 직면해 있다. 모델은 인간이 시간이 지남에 따라 목표를 추구하면서 1인칭 지각, 전신 동작, 정교한 조작, 객체 상태, 소리, 촉각이 함께 진화하는 방식을 포착해야 한다. 기존 데이터셋은 이러한 경험을 시점, 모달리티, 공간적 규모에 따라 분할하여 전체 지각-행동 루프가 부분적으로만 관찰되게 한다. 우리는 실제 가정 환경을 공간적으로 보정되고 시간적으로 동기화된 녹화 스튜디오로 변환하는 인간 중심 데이터 엔진인 Ambient Capture Engine(ACE)을 소개한다. ACE는 두 가지 상호 보완적 스케일로 작동한다. 테이블 스케일 구성은 손-물체 조작을 정밀하게 포착하며, 룸 스케일 구성은 가구가 비치된 주택 전역에서 전신 동작, 이동, 상호작용을 포착한다. ACE는 1인칭 및 다중 시점 외부(exocentric) 비디오, 전신 및 관절 손 동작, 객체 기하 및 6자유도(6-DoF) 궤적, 오디오 및 촉각 신호를 통합 다중감각 스트림으로 기록한다. ACE를 사용하여 우리는 200개 작업 범주에 걸쳐 150시간 및 1,700만 개의 비디오 프레임으로 구성된 ACE-Data-0을 구축한다. 이 데이터셋은 2개 환경에서 50명의 참가자가 수행한 총 75,000개의 상호작용 에피소드를 포함한다. 데이터셋은 원자적 조작, 장기 지평선의 가사 활동 체인, 인간-장면 상호작용을 포괄하며, 단계별 지시가 아닌 목표 수준의 지시를 통해 자연스러운 행동 변이를 보존한다. 또한 우리는 신호에서 장면 구성 요소, 그리고 상호작용으로 진행되는 계층적 벤치마크를 도입한다. 최첨단 방법에 대한 평가는 접촉, 가림, 자기 운동(egomotion), 긴 시간적 지평선 조건에서 상당한 격차를 드러낸다. ACE-Data-0은 정렬된 지각, 운동학, 접촉 지도를 갖춘 동기화된 인간 시연을 제공하며, 모방 학습, 세계 모델, 비전-언어-행동 시스템, 체화된 AI를 위한 확장 가능한 기반을 제공한다.

롤플레잉 에이전트(RPA)는 대규모 언어 모델의 가장 중요한 소비자 애플리케이션 중 하나가 되었다. 사용자는 정서적 위로와 같은 경험을 위해 RPA와 다중 턴 대화를 수행하며, 따라서 역량 측정, 시스템 비교, 추가 개선 방향 도출을 위해 신뢰할 수 있는 평가가 필수적이다. 그러나 기존 벤치마크는 일반적으로 RPA가 고정된 대화 이력을 이어받아 계속 진행하도록 요구한 뒤, 사용자와 분리된 고정 평가 기준을 사용하여 그 연속 응답을 평가한다. 우리는 이러한 설계의 두 가지 한계를 확인하고 실증적으로 보여준다. 첫째, RPA의 출력은 선행 대화 이력에 의해 결정되므로, 실제 다중 턴 환경에서 역할극 능력을 과학적으로 근거 있게 평가하기 어렵다. 둘째, 사용자 경험은 개인에 따라 크게 달라지며, 기존의 고정 평가 기준이 사용자 만족도와 반드시 일치하지는 않는다. 이에 우리는 사용자 시뮬레이터에 기반한 확장 가능한 RPA 벤치마크인 PALATE(Person-Aligned LLM-Simulated-User Assessment with Tailored Evaluation)를 도입한다. PALATE는 300개의 캐릭터 프로필로 구성된 풀을 포함한다. 주요 평가에서는 사용자별 시뮬레이터 다섯 개를 훈련시키고, 이들이 사전 고정된 캐릭터 프로필 패널에 대해 후보 RPA와 자유 형식의 다중 턴 대화를 수행하도록 한다. 일반 품질 평가 기준과 함께, 우리는 사용자 만족도를 측정하기 위한 개인화된 평가 기준을 구축한다. 홀드아웃(held-out) 주석 데이터에서 개인화된 평가 기준은 일반 평가 기준보다 인간 판단과 더 높은 일치도를 보인다. 16개 후보에 대한 주요 평가에서 PALATE는 각 후보 RPA가 사용자 시뮬레이터와 공동으로 구성한 다중 턴 대화 궤적에 대해 일반적인 턴 품질, 장기 세션 능력, 사용자별 경험을 각각 특성화한다. 이를 통해 시스템들을 단일한 사용자 독립적 순위로 압축하지 않고, 특정 사용자-RPA 쌍에 대한 해석 가능한 평가를 제공한다.

기존 비디오 캡셔닝 모델은 비디오 콘텐츠의 자연스러운 설명을 생성하지만, 국부적인 시각 요소를 다중 참조 이미지에 명시적으로 그라운딩하지 못한다. 우리는 구 수준의 참조 그라운딩을 갖춘 사실적인 비디오 설명을 요구하는 새로운 태스크인 다중 참조 이미지 기반 비디오 캡셔닝(multi-reference image-grounded video captioning)을 소개하고, 이 태스크를 위한 2단계 사후 학습 프레임워크인 RefCaptioner를 제안한다. RefCaptioner는 혼합 데이터 SFT와 계층적 커버리지 할인 GRPO(Hierarchical Coverage-Discounted GRPO)를 결합하여, 일반적인 비디오 캡셔닝 능력을 유지하면서 참조 선택, 구 수준 바인딩, 디스트랙터 배제, 그리고 참조 간 일관성을 동시에 개선한다. 학습을 지원하기 위해, 우리는 20,000개의 비디오와 171,354개의 참조 이미지를 포함하는 코퍼스를 구축한다. 또한 우리는 실제 세계 비디오와 AI 생성 비디오 모두에서 캡션 사실성과 다중 참조 그라운딩을 평가하기 위한 벤치마크인 MRVBench를 소개한다. 실험 결과, RefCaptioner는 표준 비디오 캡셔닝 벤치마크에서 경쟁력을 유지하면서 오픈소스 모델 중 최고의 전반적 성능을 달성한다. 인간 평가는 또한 RefCaptioner의 캡션이 주석자에 의해 선호되며, 오픈소스 및 상용 비디오 생성기 모두에서 소스에 보다 충실한 비디오 재구성을 가능하게 함을 확인한다.

멀티모달 대규모 언어 모델은 추론 과정에서 스케치, 주석, 도구, 중간 이미지를 점점 더 많이 활용하지만, 이러한 시각적 상태에 실제로 의존하는지 여부는 여전히 불분명하다. 기존 벤치마크는 좁은 범위를 다루는 작업 컬렉션이나 부분적으로 텍스트만으로 해결 가능한 샘플로 인해 제한적이며, 중간 시각적 상태가 어떻게 생성, 렌더링, 활용되는지를 진단하지 않고 최종 답변만을 평가하는 데 초점을 맞춘다는 한계가 있다. 우리는 See2ThinkBench와 Visual Action-of-Thought(VAoT)로 구성된 통합 평가 프레임워크인 See2Think를 제안한다. See2ThinkBench는 2D 구조적 추론, 3D 장면 추론, 실세계 추론을 포괄하는 12개 작업 범주에 걸친 1,200개의 개방형 시각 의존 문제를 포함한다. VAoT는 네 가지 통제된 추론 설정 하에서 텍스트 기반 사고, 시각적 행동, 렌더링된 상태, 후속 추론을 기록한다. 대표적인 상용 및 오픈소스 멀티모달 모델을 평가한 결과, 시각적 추론은 모델과 환경에 강하게 의존하며 작업 전반에서 단일 설정이 일관되게 우세하지 않음을 발견했다. 과정 분석은 모델이 일반적으로 관련 시각적 작업을 선택하지만 충실한 렌더링이 가장 명확한 병목 현상으로 남아 있으며, 높은 피드백 수용률이 반드시 정확도 향상으로 이어지지는 않음을 보여준다. 작업 관련 손상된 피드백이 주어진 상황에서 모델은 시각적 상태에 대한 행동적 의존성을 나타내며, 통제된 개입 하에서 정확도가 10퍼센트포인트 이상 하락한다.

시각-언어 모델(VLM)은 체화된 에이전트에서 시각적 입력을 해석하고, 공간 관계에 대해 추론하며, 그 추론에 기반하여 작업 수준의 결정을 내리는 데 점점 더 많이 사용되고 있다. 그러나 근본적인 능력 불일치가 여전히 존재한다. 일반 VLM은 전반적인 작업에 대해 추론할 수 있지만 성공을 결정짓는 시각적 세부 사항을 종종 놓치는 반면, 전문 시각 모델은 그러한 세부 사항을 포착할 수 있지만 이를 작업 수준의 결정으로 변환하지 못한다. 본 연구에서는 VLM이 공간 도구를 사용하여 추론하고, 이 도구가 제공하는 전문 지각 능력을 점진적으로 내면화하도록 가르치는 프레임워크인 SpatialCLI를 제안한다. SpatialCLI는 세 단계로 진행된다. (1) 호출(Call) 단계는 전문 시각 모델을 공간 도구로 노출시켜 VLM의 지각을 강화한다. (2) 학습(Learn) 단계는 Cold-Start SFT와 에이전트 강화학습을 사용하여 도구 사용을 개선한다. (3) 내면화(Internalize) 단계는 성공적인 도구 사용 궤적을 언어화하여 전문 지각 능력을 내면화한다. 또한 위치 파악, 분할, 깊이, 자세에 걸친 구성적 지각을 위한 516개 예제로 구성된 벤치마크인 SpatialCLI-Bench를 소개한다. MindCube에서 SpatialCLI는 Qwen3-VL-8B-Instruct의 성능을 도구 사용 시 29.3%에서 84.6%로 향상시켜 도구를 사용하는 GPT-5.6 Sol(72.1%)을 능가했으며, 내면화 후에는 도구 없이도 73.8%의 성능을 유지했다.

시각 생성은 점점 더 고해상도 이미지, 긴 비디오, 멀티모달 컨텍스트를 요구하며, 이에 따라 전체 어텐션의 2차 비용은 감당하기 어려워진다. 우리는 원리 기반 확장 방식을 갖춘 하이브리드 시각 확산 백본인 Chimera를 소개한다. Chimera는 위치 임베딩 없이 텍스트, 이미지, 비디오 토큰을 하나의 래스터 순서 스트림으로 처리한다. 이는 O(N) 복잡도의 장기 컨텍스트 상태 추적을 위한 Kimi Delta Attention(KDA), 직접적인 전역 상호작용을 위한 인터리브된 멀티헤드 잠재 어텐션(MLA), 국소적 시공간 컨텍스트를 위한 모달리티 인식 단기 합성곱을 결합한다. 희소 전문가 혼합(MoE) 계층은 활성화 연산량을 제어하면서 용량을 확장한다. 이 이종 아키텍처를 확장하기 위해, 우리는 각 텐서의 기능적 팬인(fan-in)과 모델 깊이에 따라 폭과 깊이에 걸쳐 하이퍼파라미터를 전이하는 모듈별 기법인 HeteroP를 도입한다. HeteroP는 활성화 모델 크기, 학습 토큰 수, 이미지-비디오 데이터 비율에 대한 Chinchilla 스타일의 계산 최적 법칙을 피팅하는 데 사용되는 일관되게 튜닝된 모델 패밀리를 생성한다. 이러한 법칙에 따라 우리는 20억 개의 활성화 파라미터를 가진 110억 파라미터 규모의 Chimera를 학습한다. 실험은 세 가지 결과를 보여준다. 첫째, 사전 학습 확산 손실로 측정했을 때, 밀집 백본은 대응되는 전체 어텐션 Wan-2.1 2B 기준 모델보다 계산 효율이 1.7배 높으며, 전체 시스템은 7.3배에 도달한다. 둘째, 길이별 미세 조정 없이 Chimera는 5초 학습 클립에서 30초 비디오로 제로샷 외삽을 수행하며, 마지막 5초에서 단 6.5%의 FID 저하만을 보인다. 셋째, 피팅된 법칙은 계산 최적 이미지 사전 학습이 계산량을 활성화 모델 크기와 학습 토큰 수 사이에 거의 균등하게 분배하는 반면, 비디오 사전 학습은 더 높은 예산에서 모델 크기를 다소 선호함을 보여준다. 이러한 결과는 효율적인 장기 컨텍스트 확산 아키텍처를 설계하고 확장하기 위한 기반을 마련한다.

우리는 인터랙티브 비디오 월드 모델에서 임의의 동작을 프레임 수준으로 제어하는 새로운 접근 방식인 ShadowDancer를 제안한다. 장애물은 표현(representation)에 있다. 기존 인터페이스는 동작을 느슨하게 인코딩하여 그것이 어떻게 전개될지를 모델이 즉흥적으로 처리하도록 맡기거나, 하나의 계열에만 적용되고 획득하기 어려운 구조화된 신호를 통해 동작을 정확히 인코딩한다. 따라서 다양한 역학에 걸친 정밀한 제어는 여전히 비실용적이다. 데모 비디오는 임의의 역학을 프레임 단위로 명시하는 자연스러운 해결책이지만, 비디오는 하나의 특정한 외관, 즉 기본 역학의 단일 그림자를 통해서만 자신의 역학을 보여주므로, 데모에서 학습된 동작은 새로운 장면으로 잘 전이되지 않는다. ShadowDancer는 두 가지 핵심 혁신을 통해 이 문제를 해결한다. (1) 그림자 쌍(shadow pair)은 동일한 역학을 독립적으로 재표본화된 외관으로 재생하는 비디오 쌍으로, Shadow Library가 대규모로 구축하며, 어떤 역학 계열은 그러한 쌍을 구축할 수 있을 때에만 정확히 제어 가능해진다. (2) 교차 그림자 예측(cross-shadow prediction)은 한 그림자로부터 다른 그림자를 예측하여 동작을 학습하며, 쌍이 재표본화하는 것은 설계상 폐기되고 보존하는 것이 동작이 된다. 이를 통해 블록-인과적 월드 모델을 구동하는 통합된 역학 표현이 생성된다. 따라서 데모된 모든 클립은 동작 레이블, 모션 추정기, 미세 조정 없이도 새로운 환경에서 재생할 수 있는 재사용 가능한 동작 자산이 된다. 실험은 다양한 역학 계열에 걸쳐 강력한 잠재 동작 및 인터랙티브 월드 모델 베이스라인보다 향상된 동작 전이와 긴 동작 롤아웃을 보여주며, 롤아웃 비교에서 평균 블라인드 승률 86%를 기록했다. 비디오 결과는 https://ShadowDancer-1.github.io 에서 확인할 수 있다.

온-정책 자기 증류(OPSD)는 추론 언어 모델을 개선하기 위한 유망한 접근 방식이지만, 실제로는 취약하다. 즉, 이를 안정적으로 작동시키려면 상당한 공학적 노력이 필요한 경우가 많다. 우리는 이러한 어려움의 구조적 원인을 규명한다. 바닐라 OPSD는 보다 광범위한 정책 최적화 계열에서 정확히 β=1인 구성원이며, 여기서 β는 학생을 참조 정책에 고정시키는 KL 페널티의 가중치를 조절한다. 이러한 등가성은 β를 1로 고정된 암묵적 값에서 제어 가능한 정규화 매개변수로 전환하며, 결과적으로 참조 정책에 대한 근접성과 특권 교사의 안내 사이에서 절충하는 더 일반적인 공식을 도출한다. 우리는 β-OPSD를 제안하고, 그 최적 정책이 참조 정책과 특권 교사 사이의 기하학적 보간으로 표현됨을 유도한다. 그러나 이 목적 함수를 강화 학습으로 직접 최적화하는 것은 비용이 많이 들고 분산이 높을 것이다. 우리는 RL 목적 함수를 직접 최적화하는 대신, 그 닫힌 해를 증류 대상으로 변환한다. 각 β 값은 참조-교사 경로를 따라 표적을 선택하며, 우리는 이를 토큰 수준 로짓을 혼합하여 효율적으로 구현한다. 이러한 방식으로 저비용 증류가 고비용 정책 최적화의 해를 근사한다. Return-to-go 신용 할당은 토큰 업데이트를 시퀀스 수준 목적과 더 잘 정렬하면서도 OPSD의 단순성을 유지한다. 수학적 추론 벤치마크 실험에서 β-OPSD는 바닐라 OPSD를 일관되게 능가하며, 최적화 안정성과 하위 추론 성능을 향상시킨다. 우리의 결과는 OPSD를 실용적으로 만드는 효율성을 희생하지 않으면서 자기 증류에서 정책 최적화로, 그리고 다시 되돌아오는 원리 기반의 경로를 제공한다.

과거 경험을 검색하는 것은 대규모 언어 모델 에이전트의 성능을 향상시키기 위한 일반적인 전략이 되었다. 그러나 기존의 대부분 메모리 증강 에이전트는 검색된 경험을 문자 그대로 재생할 정적 기록으로 취급하여, 에이전트의 현재 상황과 부합하는지와 무관하게 이를 맥락에 주입한다. 이러한 "재생" 패러다임은 저장된 경험의 추상적이고 일반적인 특성과 의사결정 시점에 직면하는 구체적이고 끊임없이 변화하는 상태 사이의 간극을 무시하며, 흔히 부정적 전이를 초래한다. 반면, 인간은 과거 경험을 문자 그대로 회상하는 경우가 드물다. 대신, 인간은 검색된 기억을 현재 맥락에 맞게 재구성하고 적응시킨다. 이에 영감을 받아, 우리는 LLM 에이전트가 현재 맥락에 기반하여 과거 경험을 능동적으로 활용하고 재구성하도록 하는 프레임워크인 MemHarness를 제안한다. 각 의사결정 단계에서 통합 정책 모델은 현재 상태에 기반하여 검색된 경험을 비판하고 재구성하며, 행동 이전에 맥락에 근거한 지침을 생성한다. 이러한 재구성 능력은 GRPO를 통한 종단 간 훈련을 통해 자연스럽게 발현된다. ALFWorld와 WebShop에서의 실험은 MemHarness가 순수 RL 및 정적 메모리 증강 기준선보다 현저히 우수한 성능을 보여주며, 분포 외(OOD) 시나리오에서 강력한 견고성을 입증한다. 또한, 우리의 분석은 이러한 재구성 목적이 부정적 전이를 방지할 뿐만 아니라 훈련 중 잠재적 지침으로 작용하여 에이전트의 내재적 추론 능력을 근본적으로 향상시킴을 보여준다.

모주문 실행은 대형 주문을 더 작은 주문으로 분할하여 실행 비용을 줄이는 것을 목표로 하는 알고리즘 트레이딩의 핵심 문제이다. 기존 접근법은 실제로 성립하지 않을 수 있는 사전 지정된 시장 가정에 의존하거나, 새로운 환경에 대한 적응성을 제한하는 과업별 훈련을 요구한다. 이러한 한계를 극복하기 위해, 우리는 모주문 실행을 위한 대규모 언어 모델(LLM)에 대한 최초의 체계적 연구를 제시한다. 이는 금융에서 LLM의 활용 범위를 ‘무엇을 거래할 것인가’에서 ‘어떻게 실행할 것인가’로 확장한다. 우리는 모주문 실행을 장기 계획과 단기 실행으로 분해하는 계층적 프레임워크인 PACE(Plan-Ahead Controlled Execution)를 제안하며, 이는 명시적 시장 가정도 과업별 훈련도 요구하지 않는다. 선전증권거래소 Level-1 데이터에 대한 실험에서 PACE는 TWAP, Almgren-Chriss, 학습 기반 기준 모델들을 능가하며, 가장 강력한 기준 모델보다 0.65bp 더 우수한 성과를 보였다. 행동 분석은 LLM이 인간 투자자와 다르게 실행 결정을 내린다는 것을 보여준다. 높은 모델 신뢰도는 더 나쁜 수익률이 아닌 더 나은 성과를 예측하며, 모델은 마감 시한까지 거래를 미루기보다 더 일찍 거래한다. 이러한 결과는 LLM이 실행 결정에 있어 인간 트레이더를 보완할 수 있음을 시사한다.

순방향 잠재 세계 모델은 행동이 장면을 어떻게 바꾸는지 예측하지만, 원하는 변화에 대한 행동을 복구하려면 비용이 큰 테스트 시점 탐색만 가능하다. 우리는 행동 레이블이 있는 무보상 궤적을 배포 가능한 의도-행동 인터페이스로 바꾸는 종단간 JEPA인 INTACT(INtent-To-ACTion)를 도입한다. 각 전이는 물리적 의도 z_{t+1}-z_t를 제공하고, 미래 목표는 배치 의도 sg(z_g)-z_t를 제공한다. 아키텍처는 동일한 4-슬롯 문법과 공유 매개변수를 통해 로컬 및 목표 운동-의도 백본-입력 그래프 사이에서, 그리고 동일한 예측기에 의해 유도된 행동 법칙 의미론을 통해 점별 잠재 동일성이 아닌 방식으로 지원되는 로컬 및 목표 운동-의도 패밀리 사이에서 동형이다. INTACT는 또한 RGB 증거에서 행동에 유효한 잠재 의도 좌표로, 그리고 의도 패밀리에서 대응하는 행동 법칙 패밀리로의 온전한 전이를 제공한다. 비대칭 끝점 기울기는 물리적 후속 상태에 근거를 부여하고 미래 목표를 앵커로 고정하여, 점별 잠재 정합이나 전역 선형 동역학 없이 표현 학습과 제어를 결합한다. 결과 좌표는 강건한 분포적 행동 법칙을 지원한다. 그 조건부 평균은 탐색 없는 정책으로 직접 사용되며, 샘플링은 다양성 또는 선택적 검증을 위해 계속 사용 가능하다. 네 개의 공식 LeWM 작업에서 1-에포크, 무탐색 모델은 85.78%, 100.00%, 97.67%, 97.89%의 성공률에 도달한다. Direct 계획을 중심으로 한 선택적 로컬 CEM은 9,000개 대신 384개의 후보 시퀀스를 사용하여 96.86% 매크로 성공률을 달성하며, 샘플링을 23.44배 줄이면서 순수 CEM을 16.00포인트 개선한다. 단일 공유 4-작업 인코더는 89.39% E5 Direct 매크로에 도달하고 공동 훈련된 LeWM보다 모든 작업을 개선하며, 예측-전문가 행동-패밀리 kNN은 Direct 성공률을 r=0.954로 추적한다. Direct 추론은 2.9~5.5ms가 소요된다.

멀티모달 에이전트 기반 시각 질의 응답은 지각, 검색, 추론을 교차 수행하는 다단계 궤적으로 점점 더 작동하게 되었지만, 평가는 여전히 대부분 최종 답변 정확도로 축소된다. 이러한 종합 신호는 올바른 답변이 근거 기반 증거, 언어적 사전 지식, 또는 우연한 오류 상쇄를 통해 도달되었는지 구분할 수 없다. 우리는 멀티모달 에이전트 궤적을 출처 제약 상태 기계(provenance-constrained state machine)로 취급할 것을 제안한다. 도구 출력은 구조화된 증거 원장(Structured Evidence Ledger)으로 정규화되어 궤적 상태로 기능하며, 이후의 추론 및 결정 주장은 활성 원장 항목만 인용할 수 있고, 그라운딩은 개체 및 수치 수준에서 검사되며, 수리는 도구가 생성한 출처 없이는 내용을 도입할 수 없는 유형화된 상태 전이로 구현된다. 우리는 이 설계를 LedgerMind(구조화된 증거 원장을 사용하는 출처 제약 멀티모달 에이전트 추론)로 구현하고, 3계층 그라운딩 프로토콜, 질문 복잡도에 맞춰 추론 깊이를 조정하는 적응형 이중 경로 디스패처, 그리고 형식적 출처 비증폭 보장을 갖춘 이벤트 트리거 검증-수리 엔진으로 보강한다. LedgerMind는 최종 답변 정확도가 흔히 가려버리는 네 가지 반복적 실패 패턴, 즉 근거 없는 중간 추론, 인용 기반 개체 환각(팬텀 그라운딩), 단순 질문에 대한 과도한 추론, 수리 시점 증폭을 겨냥한다. 여러 멀티모달 추론 벤치마크와 백본 MLLM에 걸친 실험은 LedgerMind가 답변 정확도와 궤적 수준 충실도를 모두 향상시킴을 보여준다.

컴퓨터 사용 에이전트는 자신의 행동이 바꾸는 것에서 학습하므로, 에이전트를 훈련하려면 에이전트가 작동시키고, 고장 내고, 재설정할 수 있는 애플리케이션이 필요하다. 가장 중요한 애플리케이션은 로그인이 필요하고 상태를 가지므로, 합성 환경이 그 역할을 대신한다. 최근 파이프라인은 이러한 환경을 대량으로 생성함으로써 병목 지점을 ‘환경이 얼마나 많이 존재하는가’에서 ‘각 환경 내부에 무엇이 있는가’로 이동시킨다. 우리가 발견한 성과는 세 가지 속성에서 비롯된다: 환경이 지니는 행동적 깊이, 에이전트가 실제로 실패하는 상호작용을 겨냥하는지 여부, 그리고 모델과 함께 개선되는지 여부. 우리는 Echoverse를 제시한다. Echoverse는 명세를 애플리케이션 자체 데이터베이스에 대해 태스크가 채점되는 상태 저장 애플리케이션으로 컴파일하며, 채점된 모든 롤아웃을 두 가지 용도로 읽는 공진화 루프를 갖춘다. 즉, 환경과 그 태스크, 검증기를 수리하는 데, 그리고 모델의 훈련 신호로 사용하는 데 활용한다. 이러한 환경 12개로 훈련된 9B 모델은 14개 평가 분할에서 36.5%에서 67.1%로 향상되었으며, 자신을 가르친 훨씬 더 큰 프런티어 모델과 14포인트 이내의 성능을 보였다. 우리는 각 속성을 차례로 검토한다. 동일한 도메인에서 얕은 환경은 실제 사이트 정확도를 기준 모델 아래로 떨어뜨리지만(80.0에서 75.0으로), 깊은 환경은 이를 끌어올린다(80.0에서 85.0으로, 그리고 48.0에서 65.0으로). 여러 렌더링에 걸쳐 하나의 인터페이스 컨트롤을 집중 훈련하는 것은 보류된 위젯 패밀리와 공개 웹으로 전이된다. 또한 단일 환경을 수리하면 그 환경으로 훈련된 모델이 16.2%에서 38.5%로 향상된다. 동일한 세계는 강화학습 환경으로도 사용되는데, 근거 기반 검증기와 조밀한 단계별 판정기를 결합한 보상이 보류 점수를 58.8%에서 68.0%로 끌어올린다. 우리는 네 가지 환경을 벤치마크로 공개하며, 해당 애플리케이션, 시드 데이터, 근거 기반 채점기를 함께 제공한다. 코드: https://aka.ms/echoverse

메모리는 장기 지평(long-horizon) LLM 에이전트의 핵심 요소이지만, 기존 메모리 시스템은 주로 상호작용 내용을 보존하는 데 초점을 맞출 뿐 어떤 에이전트를 어떤 조건에서 신뢰할 수 있는지를 모델링하지 않는다. 이러한 한계는 중앙 모델이 그럴듯하거나 상호 연관된 피어 응답을 직접 검증하지 못하는 다중 에이전트 시스템에서 특히 중요하다. 본 연구에서는 개별 피어에 대한 과거 역량 증거와 피어 집합 전반에 걸친 피어 관계 증거를 기록하는 온라인 신뢰도 메모리인 Σ-Mem을 소개한다. 두 형태의 증거 모두 실대칭 상태(real symmetric state)로 유지되며, 의사결정 이후의 정확성 피드백으로부터 갱신된다. 바일 부등식(Weyl's inequality)에 따르면 각 사건 수준 갱신으로 인한 스펙트럼 변화는 유계(bounded)이므로, 기저 모델을 재학습하지 않고도 안정적인 온라인 적응이 가능하다. Σ-Mem은 일반적인 쓰기-읽기 인터페이스를 제공하며, 동일한 메모리를 중앙 모델의 잔차 스티어링(residual steering), 응답 없는 피어 라우팅(response-free peer routing), 또는 신뢰도 가중 투표에 사용할 수 있다. 다섯 개의 Qwen 계열 모델에 걸친 실험에서 Σ-Mem은 반사실적 신뢰도 변화에 적응하고, 미관측 피어와 작업 영역에 일반화된다. 또한 직접 메모리 판독은 전체 OOD 평가 집합에서 다수결 투표와 최적 고정 피어를 능가한다. 더욱이 정확성 피드백이 축적될수록 성능이 일관되게 향상되는데, 이는 Σ-Mem이 실행 가능한 신뢰도 정보를 점진적으로 축적함을 시사한다. 이러한 결과는 신뢰도 메모리가 LLM 기반 다중 에이전트 시스템에서 적응적 조정을 위한 재사용 가능한 기반이 될 수 있음을 입증한다.

트랜스포머는 단일 가산 잔차 스트림(single additive residual stream)을 통해 깊이 방향으로 정보를 전파한다. 즉, 모든 하위 계층(sublayer)은 가장 최근 상태만 읽는다. 어텐션 잔차(attention residuals)는 각 하위 계층이 학습된 소프트맥스를 통해 깊이 이력에 주목함으로써 이 제약을 완화한다. 그러나 그 읽기는 전체 너비에 걸쳐 공유되는 단일 쿼리를 사용하므로, 모든 특징 부분공간(feature subspace)은 하나의 분포를 통해 깊이 이력을 읽어야 한다. 이러한 강제된 절충의 비용은 부분공간들이 어떤 계층을 읽을지에 대해 불일치하는 정도에 따라 증가하며, 그 불일치는 모델 너비에 따라 커진다. 우리는 멀티헤드 어텐션 잔차(Multi-Head Attention Residuals, MHAR)를 도입한다. 라우팅 쿼리를 H개의 부분공간별 헤드로 재구성하며, 각 헤드는 깊이 이력에 대한 자체 소프트맥스를 가진다. 읽기는 블록 대각(block-diagonal)이 되며, 재구성은 파라미터를 추가하지 않고 계산량도 무시할 수 있을 정도이다. H=1이면 어텐션 잔차와 정확히 동일해진다. 중복 제거되고 품질 필터링되었으며 STEM 및 코드 비중이 높은 Nemotron 기반 어닐 코퍼스(anneal corpus)에서 처음부터 학습했을 때, MHAR은 100M, 350M, 1B 규모에서 표준 트랜스포머 대비 검증 손실을 개선했다(-0.061, -0.149, -0.140). 모든 설정에서 네 가지 방법 중 최상의 결과를 달성했으며, 그 이득은 100M에서 더 큰 규모로 갈수록 증가했다. 헤드 수는 자유롭게 조절할 수 있는 손잡이가 아니라 실질적인 설계 축이다. 검증 손실은 H에 대해 U자형을 보이며, 모든 규모에서 H=4 또는 H=8에 평평한 최적점이 존재한다. 대규모 모델에는 H=8을 채택하며, 이 지점을 넘어선 과도한 분할(H=16)은 일관되게 이득의 일부를 상쇄한다. 학습된 쿼리에 대한 직접 프로빙은 학습된 부분공간 불일치가 근본적인 동인임을 확인한다. 융합된 Triton 라우팅 커널은 어텐션 잔차 학습 처리량을 기준 대비 0.2-0.5배에서 0.55-0.88배로 향상시키며, 최대 메모리는 기준과 거의 동일하게 유지한다. 델타 어텐션 잔차를 사용하는 항등성 보존 변환(identity-preserving conversion)은 8B 중간 학습을 지원하여 GSM8K에서 +3.2, GPQA에서 +3.1의 개선을 산출한다.

AlexNet이 촉발한 딥러닝 혁명은 종단간 훈련이 문제를 수작업으로 설계된 단계들로 분해하는 것보다 우수하다는 것을 보여주었다. 그러나 생성 모델링은 여전히 예외로 남아 있다. 생성 모델이 놀랍도록 강력함에도 불구하고, 이들은 여전히 종단간으로 훈련되지 않는다. 그 이유는 생성 모델링의 핵심이 다중 모드를 가진 분포를 다루는 것이며, 기존의 확장 가능한 접근법들은 생성 절차를 분해함으로써 동일한 방식으로 이를 처리하기 때문이다. 이는 종단간 생성을 방해한다. 본 연구에서는 훈련 루프를 분해하는 새로운 패러다임인 탐색적 모델링(Explorative Modeling)을 소개한다. 이는 모델 생성과 데이터 간의 K개 후보 매칭을 탐색하고 최상의 매칭으로 훈련하여, 예측이 모드를 흐릿하게 만들지 않고 모드에 특화되도록 한다. 우리는 탐색적 모델(XM)이 두 가지 설정에서 유용함을 발견했다. 첫째, 탐색을 증가시키는 것은 기존 생성 모델에 파라미터와 데이터를 넘어선 세 번째 사전학습 축을 추가하는 것이다. 여기서 탐색의 확장은 연속 및 이산 영역(이미지, 비디오, 언어) 모두에서 성능을 단조적으로 개선한다. 특히, 탐색으로 인한 이득은 규모가 커질수록 증가하는데, 데이터가 확장됨에 따라 7%에서 36%로, 모델이 커짐에 따라 13%에서 23%로 상승하며, 3배의 계산량에서 효율성 이득은 두 배 이상 증가한다. 구체적으로, 탐색은 FLOP 효율성을 4.1배, 샘플 효율성을 6.2배, 파라미터 효율성을 47% 향상시키고, 이미지 생성 기법 중 가장 강력한 방법을 가이던스 없이 ImageNet에서 최신 기술에 근접한 1.43 FID로 끌어올리며, 기존 모델의 종단간성을 확장하는 방법을 가능하게 하고 일반화 확장을 실현한다. 둘째, XM은 종단간 재구성 생성 모델링을 가능하게 하여, 16-256배 적은 추론 단계로 제어 작업에서 확산 모델과 대등한 성능을 달성한다. 종합하면, 이러한 결과는 XM을 기존 생성 모델을 위한 새로운 사전학습 축이자 독립적인 종단간 생성 모델링 패러다임으로 확립한다.

배포된 LLM 에이전트들은 점점 더 장기 메모리를 파일시스템으로 유지하고 있다. 즉, 에이전트 자신이 일반 파일 도구를 통해 읽고, 쓰고, 재구성하는 마크다운 파일들의 디렉터리 트리 형태다. 그러나 연구는 이 매체를 대체로 지나쳐 왔다. 기존 시스템들은 맞춤형 메모리 표현을 설계하고 그에 대한 검색을 연구했으며, 기본 설정의 두 가지 작동 가정을 검증되지 않은 채 남겨두었다. 첫째, 에이전트가 기억이 축적되고 충돌하며 쓸모없어짐에 따라 성장하는 저장소를 조직적으로 유지할 수 있다는 가정, 둘째, 이러한 조직화가 실질적 이득을 가져온다는 가정이다. 우리는 LLM 에이전트를 위한 파일시스템 기반 메모리에 대한 최초의 체계적 탐구를 제시한다. 본 설정을 하나의 메모리 파일시스템을 중심으로 한 세 가지 역할로 정식화한다. 관리 에이전트는 들어오는 콘텐츠를 통합하고 조직화하며, 검색 에이전트는 인용 출처와 함께 질의에 응답하고, 실행 에이전트는 스킬로 증류되는 작업 궤적을 제공하여 선언적 메모리와 스킬을 단일 저장소로 통합한다. 장기 대화 벤치마크와 임바디드 작업에 걸쳐 우리는 메모리 형태(에이전트 조직형 계층 구조, 축어적 덤프, 청크 검색), 스트림 규모, 도구 하네스(샌드박스 셸, 메모리-도구 스타일 함수, 다양한 검색 도구), 그리고 관리 및 검색 에이전트의 성능 수준을 변화시키면서, 메모리가 성장함에 따라 답변 품질, 비용, 저장소 상태를 추적한다. 조직화가 확실히 제공하는 것은 검색 경제성이다. 조직화된 저장소는 자료가 방대한 경우 검색 비용을 대략 절반으로 줄인다. 그러나 오늘날의 에이전트들은 기본 설정의 약속에 미치지 못한다. 우리의 성장 연구에서 조직화는 가장 강력한 관리 에이전트를 제외한 모든 경우에서 약화되며, 측정한 어떤 에이전트도 조직화 자체를 더 나은 답변으로 전환하지 못한다. 그리고 모델이 저장소의 형태를 결정하는 유일한 레버는 아니다. 도구 세트만 변경해도 모델 교체만큼 강하게 저장소의 형태를 바꾼다. 본 연구는 파일시스템 기본 설정을 가정에서 에이전트 메모리의 설계 공간으로 전환한다.

추측 디코딩(Speculative Decoding, SD)은 가벼운 드래프트 모델이 토큰을 제안하고, 이후 더 큰 대상 모델이 이를 병렬로 검증함으로써 대규모 언어 모델 추론을 가속화한다. 최근 접근법들은 엄격한 분포 일치를 완화하여 효율성을 더욱 개선하기 위해 손실성 검증 방식을 도입한다. 그러나 이러한 완화는 디코딩 분포를 암묵적으로 재작성하며, 그로 인한 가속화는 불안정하고 때로는 심각하게 저하된 생성 품질이라는 비용을 수반할 수 있다. 본 연구에서는 손실성 검증 방법들이 유도하는 분포에 대한 원리적인 분석을 제시한다. 겉보기에는 서로 다른 많은 접근법들이 실질적으로는 절단 기반 검증과 협력적 검증이라는 두 범주로 분류될 수 있음을 보인다. 또한 선별된 벤치마크에 걸친 진단 평가 프레임워크를 구축한다. 절단 기반 방법의 경우, 분포 왜곡으로 인해 실제 절단 샘플링 기준선 대비 성능이 크게 저하될 수 있다는 근본적인 함정을 식별한다. 협력적 검증의 경우, 드래프트 확률이 대상 확률을 초과하는 오버슈트를 제어하는 것이 저품질 출력을 방지하는 데 필수적이라는 핵심 원리를 밝혀낸다. 코드는 https://github.com/ZhouYuxuanYX/Fast-HSD에서 확인할 수 있다.

딥 리서치 에이전트는 LLM 기반 어시스턴트를 계획 수립, 정보 검색, 증거 종합, 보고서 생성을 포함하는 장기 워크플로우로 확장하지만, 개방형 정보 환경에서의 신뢰성은 아직 충분히 탐구되지 않았다. 주요 우려 사항은 이러한 환경에서 접하게 되는 겉보기에 신뢰할 만하지만 사실적으로 오도하는 지식이 이러한 워크플로우를 통해 전파되어 최종 보고서에서 허위 결론으로 채택될 수 있는지 여부이다. 이러한 실패 모드를 연구하기 위해 우리는 딥 리서치 작업을 위한 오도 지식을 구축하고 검증하는 프레임워크인 MisKnow-Agent를 소개한다. MisKnow-Agent는 통제 가능한 권위 수준과 스타일을 가진 오도 인스턴스를 생성하며, DeepResearch 벤치마크 작업을 기반으로 구축된 5,933개의 품질 관리 인스턴스를 산출한다. 오픈소스 및 클로즈드소스 딥 리서치 에이전트에 대한 광범위한 실험은 오도 지식에 대한 제한적인 노출만으로도 최종 보고서에서 허위 결론 채택이 유발될 수 있음을 보여주며, 현재 딥 리서치 에이전트의 광범위한 신뢰성 취약성을 드러낸다. 검색이 가능한 검증기 모델은 집중 코퍼스 검증 중에 보유된 인스턴스를 일관되게 오도 정보로 식별하지만, 동일한 인스턴스가 장기 리서치 중에는 여전히 채택될 수 있어 집중 검증과 워크플로우 수준의 증거 사용 사이의 괴리를 보여준다. 마지막으로, 우리는 리서치 전·후 방어 체계를 개별적으로 그리고 결합하여 평가하며, 세 가지 구성 모두 허위 결론 채택을 완화하지만 완전히 방지하지는 못한다는 것을 발견한다. 우리의 연구 결과는 신뢰할 수 있는 딥 리서치가 계획 수립, 검색, 증거 통합 또는 보고서 생성 능력의 개선을 넘어, 모델 및 프레임워크 수준 모두에서 증거 검증 및 수정 기능을 요구한다는 것을 시사한다.

본 논문은 다수의 LLM(Large Language Model) 기반 에이전트로 구동되는 그룹 여행 계획 프레임워크인 AI Tour Meeting을 제안한다. 에이전트들은 각각 고유한 페르소나로 인스턴스화되며, 자연어 논의를 통해 자신들의 제약 조건과 선호도를 충족하는 여행 일정을 협력적으로 탐색한다. 이 프레임워크는 에이전트 페르소나, 논의 워크플로우, 모니터링 및 LLM 배포를 구성하기 위한 인터페이스를 제공함으로써 이러한 논의를 쉽고 유연하게 조율할 수 있게 한다. 주요 사용 사례는 여행 계획 논의 중 다중 LLM 에이전트의 행동을 분석하기 위한 시뮬레이션 도구이다. 본 논문은 시스템 검증과 프레임워크를 통해 얻은 여러 분석 결과를 제시함으로써 해당 프레임워크의 유용성을 입증한다.

기존의 전모달리티 대형 언어 모델을 위한 토큰 압축 방법은 일반적으로 한 가지 모달리티를 활용하여 다른 모달리티에서 무엇을 유지할지 결정한다. 우리는 이러한 가정이 종종 성립하지 않음을 보여준다: 동일한 질의에 대해 오디오와 비디오의 관련성은 서로 다른 시점에 정점에 도달하는 경우가 많다. 이러한 교차 모달리티 현저성 불일치는 단방향 안내가 과도한 압축 하에서 답변에 중요한 단서를 버리기 쉽게 만든다. 우리는 OmniScope를 제안한다. 이는 학습 없이 동작하는 토큰 압축 프레임워크로, 질의를 공유된 의미적 앵커로 사용하면서 오디오와 비디오의 관련성을 각각 별도로 추정한다. OmniScope는 모달리티별 토큰 예산을 할당하고, 전역 문맥과 시간적 변화를 모두 보존하는 앵커-델타 전략으로 시각 토큰을 가지치기하며, 각 초 내의 오디오 토큰을 병합하여 중복을 줄이면서 시간적 연속성을 유지한다. 네 개의 오디오-비디오 벤치마크와 두 가지 Qwen2.5-Omni 모델 규모에 걸쳐 OmniScope는 모든 압축 설정에서 최고의 평균 정확도를 달성한다. 전체 토큰 유지율 25%에서 최대 3.53배의 프리필 속도 향상과 15% 이상의 GPU 메모리 절감을 제공하면서 평균 정확도는 단 0.35포인트만 하락한다. 이러한 결과는 OmniLLM 추론을 위한 간단한 설계 원칙을 시사한다: 질의는 모달리티 간에 공유하되, 현저성 추정치는 공유하지 말아야 한다. 코드는 https://github.com/MAC-AutoML/OmniScope에서 확인할 수 있다.

본 연구는 대규모 언어 모델(LLM)에서 인구통계학적 편향의 관리 및 향후 완화를 위해 설계된 경량 구조적 개입 방법인 Fairness Pruning을 제시한다. 이 방법의 기초 실증 검증으로서, 본 연구는 인과적 편향 위치 규명에 초점을 맞춘다. 최소 대조 프롬프트 쌍과 추론 시 활성화 포착을 사용하여, 이 방법은 GLU 구조에서 인구통계학적 속성을 처리할 때 상이하게 반응하는 뉴런을 식별하며, down_proj 입력에서 신호를 평가한다. 최대 30억 매개변수 규모의 모델(Llama-3.2 계열 및 Salamandra-2B)에 대해 실증 평가를 수행했으며, 표준화된 벤치마크 평가와 정성적 텍스트 생성 실험을 결합했다. 결과는 식별된 뉴런을 0으로 설정하면 모델이 연관된 인구통계학적 변수에 응답하는 방식이 변경됨을 보여준다. 그러나 이 개입은 일률적인 완화를 산출하기보다는 양방향 편향 불안정화를 유발한다. BiasScore가 부호를 갖지 않으므로, 후보 집합은 고정관념을 지지하는 방향과 반대하는 방향의 뉴런을 함께 포함하게 되며, 전체 편향에 대한 순 효과는 어느 방향의 부호가 우세한지에 따라 달라진다. 이 개입은 매우 정밀하다. Llama-3.2-1B에서 최대 40개의 뉴런(전체 MLP 너비의 0.031% 미만)을 0으로 설정하는 것만으로 추론 및 일반 지식 능력에서 평균 99.49%의 유지율을 달성한다. 이러한 결과는 인구통계학적 편향 처리와 모델 능력이 분리 가능한 회로에서 작동함을 실증적으로 확인하며, 맹목적 제로화에서 방향적 행동 변조로 전환하기 위한 방법론적 기반을 확립한다.

강화 학습(RL) 검색 에이전트는 일반적으로 검색을 자유 형식의 자연어 쿼리 생성으로 모델링하고 최종 답변 보상을 사용하여 다중 턴 상호작용을 최적화한다. 현재 연구들은 주로 더 조밀하거나 더 구조화된 신용 신호로 훈련을 개선하지만, 정책-환경 인터페이스에서 검색이 적절하게 공식화되었는지 거의 검토하지 않는다. 우리는 Search-R1 훈련 중 뚜렷한 검색 에일리어싱(retrieval aliasing)을 관찰한다. 동일한 질문에 대한 롤아웃이 계속해서 서로 다른 쿼리 문자열을 생성하지만, 누적된 증거 집합은 점점 더 겹친다. 우리는 이 현상을 검색 동등성 붕괴(retrieval-equivalence collapse)라고 부른다. 이 체제에서 궤적들은 검색 결정에 대해 효용 동등성에 접근하며, 그룹 내 수익은 효과적인 검색 대비를 거의 갖지 못하게 된다. 이 문제를 해결하기 위해, 우리는 이 인터페이스를 재설계하는 그래프 구조화 검색 프레임워크인 Harness-G를 제안한다. 이 프레임워크는 자유 형식 쿼리 생성을 유한 행동 선택으로 재구성한다. 정책은 증거 문장이나 엔티티를 선택하거나 답변을 선택하며, 환경은 메뉴를 구성하고 검색 상태를 추적하며 각 선택을 검증하고 실행한다. 이 인터페이스는 언어적 에일리어싱을 줄이고 동일 상태의 대안들을 직접 비교 가능하게 만든다. 이 인터페이스를 기반으로, 우리는 구조화된 비근시적 신용(Structured Non-myopic Credit, SNC)을 도입한다. SNC는 고정된 답변 스코어러를 사용하여 선택된 행동을 대안들과 비교하고, 이를 가능하게 한 이전 행동들에 후속 이득을 할당한다. 여섯 개의 QA 벤치마크에서 Harness-G는 평가된 두 모델 규모 모두에서 가장 높은 평균 F1을 달성하며, 가장 강력한 기준선인 Graph-R1을 1.5B에서 10.74포인트, 3B에서 3.98포인트 능가한다.

희소 혼합 전문가(MoE) 언어 모델은 각 토큰을 여러 전문가로 라우팅하며, 이는 그 이점에 대한 기하학적 설명을 시사한다: 함께 선택된 전문가들은 서로 다른 표현 방향을 기여해야 한다는 것이다. 기존 증거는 경로 일관성, 후보 품질, 후보-문맥 상호작용을 종종 혼동한다. 우리는 전문가 부분공간 분리 지수(ESSI), 대응 경로 잔차, 접두사 통제 2×2 요인 설계를 사용하여 이러한 양들을 구분하며, 고정 경로 개입과 통제된 Top-k 연구를 통해 기능적 가치를 평가한다. 세 가지 쌍별 대비가 결과를 정리한다. 첫째, 여섯 가지 MoE 아키텍처 전반에서 전문가 부분공간은 상당히 중첩되지만, 실제 경로는 대응 대안보다 토큰 표현을 더 잘 설명한다. 둘째, OLMoE, Mixtral, DeepSeek의 39개 요인 셀 전반에서 선택된 후보는 모든 셀에서 가장 강한 미선택 경쟁 후보보다 잔차 표현을 더 많이 설명하지만, 실제 접두사는 이 이점을 전반적으로 좁힌다: 모든 상호작용이 음수이며 모든 95% 신뢰 구간이 0보다 아래에 위치한다. 셋째, 이러한 기하학적 축소는 기능적 중복을 의미하지 않는다: 이후 전문가를 추가하는 것은 39개의 고정 경로 비교 중 24개에서 다음 토큰 예측을 개선하는 반면, 나머지 15개의 추정치는 결정적이지 않다; 통제된 훈련 연구는 또한 세 시드 모두에서 Top-2가 Top-1보다 유리함을 보여준다. 우리는 이러한 결합 패턴을 정합적 중첩(coherent overlap)이라고 부른다: 라우팅은 공유된 기하학적 이웃에서 토큰 관련 전문가를 선택하지만, 유용한 다중 전문가 계산은 서로소 선형 포괄(disjoint linear coverage) 없이도 지속된다. 이러한 양들을 분리함으로써 기하학적 유사성만으로는 중복성이나 가지치기 가치를 결정할 수 없는 이유가 명확해진다.

온디바이스 음성 감정 인식(On-device Speech Emotion Recognition, SER)은 실시간 응용 분야에서 중요하지만, 감정 인식에 탁월한 대규모 자기지도(self-supervised) 모델은 엣지 디바이스에서 사용하기에는 비용이 너무 높다. 다중 교사 지식 증류(multi-teacher knowledge distillation)는 이를 경량 학생 모델로 압축할 수 있으나, 두 가지 과제가 남아 있다: 교사의 신뢰도가 배치(batch)마다 달라진다는 점과 로짓 수준 증류가 샘플 간 관계 구조를 무시한다는 점이다. 본 논문에서는 두 문제를 모두 해결하기 위해 적응형 다중 교사 관계적 증류(Adaptive Multi-teacher Relational Distillation, AMRD)를 제안한다. 각 교사의 로짓 유사도 행렬에 one-class SVM을 적용하여 더 일관된 교사에게 가중치를 부여하는 배치별 가중치를 할당한다. 관계적 증류 손실(relational distillation loss)은 교사와 학생 간 유사도 행렬을 정렬함으로써 로짓 정합만으로는 포착하기 어려운 구조적 정보를 학습한다. IEMOCAP 및 CREMA-D 데이터셋에서 네 가지 학생 아키텍처를 대상으로 한 실험 결과, AMRD는 대부분의 설정에서 단일 교사 증류 기준선(baseline)보다 우수한 성능을 보였으며, 제거 실험을 통해 두 구성 요소가 상호 보완적인 성능 향상을 제공함을 확인하였다.

이전 연구인 Pedestrian Archetypes(보행자 원형)에서 우리는 보행자 원형을 특정 유형의 보행자를 고유하게 식별하는 행동 집합으로 정의했다. 첫 논문에서는 배회자(Wanderer), 주취자(Drunk), 주의분산자(Distracted), 급출현자(Flash), 우유부단자(Indecisive), 시각장애인(Blind), 무리(Flock), 무단횡단자(Jaywalker), 노인(Elderly), 어린이(Kid), 이벤트형(Eventful), 주차된 보행자(Parked Pedestrian) 등 12가지 보행자 원형을 제안했다. 이러한 원형들은 단일 행동 레이블을 넘어서, 실제 교통 시나리오에서 위험한 보행자들이 점진적으로 행동하는 방식을 보다 자연스럽게 설명하기 위해 도입되었다. 그러나 YouTube 대시캠 영상에 대한 추가 주석 작업을 통해, 우리는 기존에 제안된 원형들과 관찰 가능하고 뚜렷한 행동 차이를 보이는 7가지 추가 보행자 원형을 식별했다. 이 새로운 원형들은 기존 분류체계로는 충분히 설명되지 못했던 보행자 행동 패턴을 포착한다. 본 프리프린트에서는 각각의 새로운 원형을 소개하고, 필수 및 선택 행동을 정의하며, 기존에 제안된 원형들과 어떻게 다른지 설명하고, 해당 원형이 실제로 나타나는 영상 프레임 증거를 제시한다.