일간 논문

비디오 멀티모달 대규모 언어 모델(MLLM)은 비디오에서 발생하는 일을 설명할 수 있지만, 해당 증거가 발생하는 시점을 식별하는 경우는 드물다. 우리는 하나의 모델이 비디오 길이, 도메인, 쿼리 형식, 시점에 걸쳐 가변 개수의 증거 구간 집합을 예측하는 범용 비디오 시간적 근거 찾기(generalist video temporal grounding)를 연구한다. 기존 학습 전략은 이러한 집합값(set-valued) 작업과 정렬되지 않는다. 긴 비디오 레이블은 종종 취약한 일회성 주석에 의존하는 반면, 강화 학습 보상은 겹치지 않는 예측을 구분하지 못하거나 깨지기 쉬운 세그먼트 매칭을 요구한다. TimeLens2는 감독과 최적화 전반에 걸쳐 시간적 증거를 구간 집합으로 취급한다. TimeLens2-93K는 캡션 기반 제안, 독립적 위치 추정, 교차 에이전트 합의, 의미 검증 및 경계 개선을 통해 신뢰할 수 있는 다중 구간 감독을 구축한다. 시간적 Wasserstein 보상은 병합된 구간 지지 집합 위의 균등 분포 간의 정확한 1차원 \(W_1\)을 계산하여, 불균등한 개수와 동등한 분할 하에서 밀집되고 매칭이 필요 없는 피드백을 제공하며, 시간적 IoU는 정밀한 중첩 피드백으로 이를 보완한다. 일곱 개의 벤치마크에 걸쳐 TimeLens2-2B는 모든 크기 일치 기준선을 각 벤치마크에서 능가하며, 4B 및 8B 변종은 최첨단 성능을 달성하여 최대 397B 파라미터의 오픈소스 모델을 능가한다. 2B, 4B, 8B 변종은 각각 Qwen3-VL 백본 대비 14.2, 13.0, 18.1 mIoU 포인트 개선을 보인다.

본 논문은 상호작용적 문학 세계에서 캐릭터와 세계의 공진화(共進化)를 위한 프레임워크이자 벤치마크인 EvolvingWorld를 소개한다. 기존 시스템은 상호작용적 문학 시뮬레이션을 정적인 페르소나 모방이나 고립된 장면 생성으로만 다루어, 시간이 지남에 따라 캐릭터와 세계가 함께 진화하는 과정을 포착하지 못했다. 이러한 문제를 해결하기 위해 EvolvingWorld는 문학 시뮬레이션을 장기적 과정으로 모델링하여, 캐릭터가 상호작용하고 장면이 전개되며 캐릭터와 세계의 상태가 지속적으로 갱신되도록 한다. 고정된 스키마에 의존하는 기존 시스템과 달리, EvolvingWorld는 오픈 스키마 프레임워크를 채택하여 다양한 문학 세계에서의 시뮬레이션을 지원한다. 이 프레임워크는 두 개의 결합 모듈로 구성된다: 다중 캐릭터 역할극과 지속적 프로필 진화를 위한 캐릭터 에이전트, 그리고 전역 및 위치/개체 수준의 상태 유지와 장면 전개를 담당하는 LLM 기반 월드 모델이다. 이 아키텍처를 바탕으로 장면 초기화, 상호작용 생성, 상태 갱신을 위한 7가지 학습 가능한 과제를 설계한다. 57권의 책에서 데이터셋을 구축하여 138,596개의 지도 학습 훈련 샘플과 222개의 테스트용 스냅샷을 생성한다. 또한 10개 차원과 20개 지표를 포함하는 궤적 수준의 LLM-as-Judge 평가 프로토콜을 도입한다. 실험 결과, EvolvingWorld는 지속적이고 일관된 캐릭터 및 세계 발전을 효과적으로 유지함으로써 장기적 시뮬레이션을 개선할 수 있음을 보여준다.

도구 사용 에이전트가 자체 경험을 통해 개선되도록 훈련하는 것은 여전히 어려운 과제이다. 지도 미세 조정은 고정된 교사 모델 증류 궤적에 의존하는 반면, 희소 보상 강화 학습은 장기 지평 상호작용에 대해 약한 감독을 제공하기 때문이다. 본 논문에서는 결정론적이고 검증 가능한 환경으로 재현 가능한 검색 및 페이지 읽기 도구를 갖춘 DeepSearch-World를 기반으로 구축된 웹 에이전트용 자기 증류 프레임워크인 DeepSearch-Evolve를 제시한다. DeepSearch-World는 엔티티 수준 무작위 걷기로부터 구성된 42만 개의 다중 홉 QA 과제를 포함하며, 진행 상황 검증, 근거 기반 반성, 실패 복구 등 자기 진화에 유용한 핵심 에이전트 인지 행동을 지원한다. DeepSearch-Evolve는 궤적 생성, 필터링, 데이터 혼합 및 미세 조정을 반복적으로 수행하여 더 강력한 에이전트를 훈련한다. 더 우수한 모델로부터의 증류 없이도 DeepSearch-World-9B는 오픈소스 에이전트와 비교하여 경쟁력 있는 성능을 달성하여 BrowseComp에서 31.2%, GAIA에서 61.5%, HotpotQA에서 93.4%를 기록했다. 이는 검증 가능한 환경이 장기 지평 웹 에이전트의 확장 가능한 자기 진화를 가능하게 함을 보여준다. 향후 자기 개선 심층 검색 에이전트 연구를 촉진하기 위해 환경, 42만 개 훈련 풀, 검증 세트, 모델 및 코드를 공개할 예정이다.

코딩 에이전트를 위한 긴 컨텍스트 프루닝은 효율적인 컨텍스트 관리를 위한 핵심 기술로 자리 잡아 왔다. SWE-Pruner와 같은 기존 컨텍스트 프루닝 방법은 별도의 코드 분류기를 추가하여 이를 구현하는 반면, 본 연구에서는 에이전트 자체가 도구 출력을 읽을 때 코드 컨텍스트의 관련성을 나타내는 내부 표현을 인코딩한다는 사실을 발견하였다. 이러한 발견을 바탕으로, 에이전트 내부에서 직접 도구 출력을 프루닝하는 SWE-Pruner Pro를 제안한다. 구체적으로, 작은 헤드가 각 도구 출력의 줄 수에 따라 길이 인식 임베딩을 키로 사용하여 에이전트의 자체 내부 표현을 줄별 유지-프루닝 레이블로 변환한다. 두 개의 오픈 웨이트 백본과 네 개의 멀티턴 벤치마크에 걸쳐 SWE-Pruner Pro는 제한된 추론 오버헤드 내에서 태스크 품질을 유지하면서 프롬프트 및 완료 토큰을 최대 39% 절감한다. 특히, MiMo-V2-Flash에서 SWE-Pruner Pro는 SWE-Bench Verified 해결율을 +3.8%, 장문 컨텍스트 Oolong 정확도를 +2.2% 포인트 추가로 향상시킨다.

인간-객체 중심 비디오 개인화(HOCVP)는 주체 기반 비디오 생성(subject-driven video generation)의 핵심 과제입니다. 그러나 기존 방법들은 두 가지 주요 한계를 가집니다. 첫째, 주체 간 개인화(inter-subject personalization)에 초점을 맞춘 대부분의 접근법은 높은 주체 충실도와 인간과 다양한 객체 간의 정확한 상호작용 패턴 사이에서 균형을 맞추는 데 여전히 어려움을 겪습니다. 특히 객체가 로고와 같은 추상적 개념을 나타낼 때 더욱 그렇습니다. 둘째, 주체 내 참조(intra-subject reference, 예: OCR 맵, 다중 뷰 입력)가 주체 충실도를 향상시킬 것으로 기대되지만, 대부분의 기존 연구는 이러한 잠재적 대응 관계를 이해하는 메커니즘이 부족합니다. 이 두 가지 문제를 해결하기 위해, 우리는 HOMIE를 제안합니다. 이는 주체 간 및 주체 내 입력 설정을 통합된 방식으로 처리하는 HOCVP 프레임워크입니다. 이전 접근법과 비교하여 HOMIE는 텍스트 인코더의 제어 가능성을 손상시키거나 값비싼 재정렬을 유발하지 않으면서 참조 수준의 관계에 대한 지식을 추출하는 더 나은 MLLM 통합 전략을 제안합니다. 구체적으로, 우리는 셀프 어텐션 내에서 전역 다중 모달 가이던스를 도입하여 MLLM에서 도출된 의미적 특징을 VAE 토큰과 더 잘 정렬합니다. 또한, 모달리티-참조 임베딩(modality-reference embedding)을 제안하여 MLLM 특징과 VAE 토큰의 토큰을 구별하고 주체 내 참조 이미지 토큰을 연관시킵니다. 광범위한 실험을 통해 우리의 방법이 다양한 HOCVP 과제에서 최첨단 성능을 달성함을 입증했습니다. 프로젝트 페이지: https://yiyangcai.github.io/homie-page.github.io/

현대 비디오 생성 모델은 물리 법칙에 대한 내재화된 이해를 지닌 떠오르는 세계 모델로 점차 주목받고 있다. 그러나 기존 벤치마크는 대부분 출력 수준에서만 물리적 타당성을 평가할 뿐, 모델이 신뢰할 수 있고 법칙에 기반한 추론 과정을 통해 해당 결과에 도달하는지 검증하지 않는다. 본 논문에서는 비디오 모델 평가를 물리 법칙에 명시적으로 고정시키는 최초의 벤치마크인 Apple-PI를 소개한다. Apple-PI는 세 가지 구성 요소로 이루어진다. 1) 오차드(Orchard): 고전 역학의 10가지 표준 과제를 다루는 400개의 비디오로 구성된 데이터셋이다. 교란 요인이 없는 진단을 위한 단일 법칙 과제와 일반화 능력을 탐색하기 위한 다중 법칙 과제로 구분된다. 2) 벤치마크 프로토콜(Benchmark Protocol): 지각(Perception), 정식화(Formulation), 추론(Deduction)의 세 단계로 구성된 과학적 추론 기반 프로토콜이다. 인포그래픽이 주석 처리된 첫 프레임에 체인-오브-프레임 프롬프팅을 적용하며, 생성된 비디오를 모델의 가시적 추론 과정으로 간주한다. 3) 평가 스위트(Evaluation Suite): MLLM 기반 주관적 평가와 물리 법칙에 기반한 객관적 측정을 결합한 하이브리드 평가 스위트이다. 이를 통해 모델이 실패하는지 여부뿐만 아니라 어디서 실패하는지에 대한 단계별 진단이 가능하다. 11개 모델을 벤치마킹한 결과, 현재 비디오 모델은 신뢰할 수 있는 법칙 기반 세계 시뮬레이터와는 거리가 멀며, 최고 비디오 모델도 0.473점에 그쳤다. 단계별, 축별, 원천별 분석을 통해 지각-정식화-추론 병목 현상, 취약한 다중 법칙 상태 전이, 지속적인 시뮬레이션-현실 간극(sim-to-real gap)이 드러났다. 이러한 발견은 Apple-PI가 미래 비디오 모델을 법칙에 기반한 물리적 지능을 갖춘 세계 모델로 안내하기 위한 진단 기반 역할을 할 수 있음을 보여준다.

RynnBrain 1.1은 2B, 9B, 122B-A10B 규모로 구성된 임베디드 파운데이션 모델군입니다. 통합된 시공간적 및 물리적 기반 프레임워크로 학습되어 임베디드 지각, 공간 추론, 위치 파악, 계획을 지원합니다. RynnBrain 1.0과 비교하여, 이번 버전은 모델군 전반에 걸쳐 접촉점 예측을 새로 도입하고, 2B 및 9B 모델에 대해 네이티브 3D 그라운딩을 추가함으로써 로봇 조작과 더 직접적으로 정렬된 표현과 출력을 제공합니다. 또한 통합된 교차 체현 동작 공간과 체현별 마스킹을 갖춘 RynnBrain-VLA를 개발하여 Unitree G1, Astribot-S1, Tianji-Wuji에 배포했습니다. RynnBrain 1.1은 임베디드 인지, 위치 파악, 3D 그라운딩에서 뛰어난 성과를 보였으며, 특히 122B-A10B 모델은 VSI-Bench, MMSI, RefSpatial-Bench에서 평가된 모든 독점 모델 및 오픈소스 모델을 능가했습니다. 실제 로봇 실험 결과, RynnBrain으로 초기화된 정책은 Qwen 기반 및 대표적인 범용 VLA보다 우수한 성능을 보였으며, 다중 작업 및 다중 체현 공동 훈련은 작업별 훈련 대비 프로세스 점수와 성공률을 향상시켰습니다.

긴 녹음에서의 시간적 접지는 오디오 조건 기반 LLM에게 여전히 어려운 과제입니다. 본 논문에서는 최대 120분 입력에 대해 명시적 타임스탬프가 포함된 질문에 답변하는 시간 인식 오디오 LLM을 제시합니다. 우리의 접근 방식은 캐스케이드 파이프라인의 대규모 합성 지도 학습을 활용하여 주기적 시간 마커를 연속 오디오 토큰과 인터리빙합니다. 우리 모델은 짧은 벤치마크와 긴 벤치마크 모두에서 강력한 시간적 접지 정확도를 달성하며, 시간 기준 조각 설명 및 요약을 지원합니다. 광범위한 절제 실험을 통해 시간 표현, 마커 빈도, 토큰화, 지속 시간 혼합 설계가 정확도와 계산 비용에 미치는 영향을 분석합니다. 시간 인식 오디오 이해에 대한 추가 연구를 지원하기 위해 모델 가중치와 데이터셋을 공개하며, https://huggingface.co/ai-sage/GigaChat3.1-Audio-10B-A1.8B에서 확인할 수 있습니다.

최근 확장에서의 성공에도 불구하고, 다국어 자동 음성 인식(ASR) 성능은 여전히 매우 불균형적이며, 특히 장기 저빈도 언어들은 심각한 데이터 부족 문제를 겪고 있습니다. 본 연구는 저대표 중앙아시아 언어(카자흐어, 키르기스어, 우즈베크어)를 위한 강건한 기초 모델을 구축하는 과제를 다룹니다. 우리는 HuBERT 스타일의 목적 함수를 사용하여 2백만 시간의 오디오로 사전 학습된 Conformer 인코더인 GigaAM Multilingual을 제시합니다. 핵심적으로, 사전 학습 시 클러스터 수준의 데이터 균형 전략과 미세 조정 시 도메인 인식 샘플링 방법을 도입하여 주류 언어 우세 현상을 완화합니다. 통제된 비교 실험에서, 우리의 접근 방식은 대상 언어에서 강력한 공개 사전 학습 인코더(Whisper Large v3, Omnilingual-1B)를 능가하며, 자발적 발화에서 상당한 성능 향상을 달성하면서도 효율성을 유지합니다. 우리는 기초 인코더와 ASR 모델을 공개하며, 현실적인 데이터 불균형 상황에서 효과적인 다국어 적응을 위한 검증된 방법을 제공합니다.

인간의 조작 행동을 담은 자기중심적 동영상은 체화된 지능을 위한 확장 가능한 감독 신호를 제공하지만, 기존 자원들은 저비용 연속 촬영, 조작 수준의 구조화된 주석, 그리고 로봇 학습을 위한 재사용 가능한 도구를 거의 결합하지 못하고 있습니다. 우리는 Open-AoE를 소개합니다. 이는 스마트폰 촬영부터 모델 학습까지 전체 파이프라인을 포괄하는 개방형, 커뮤니티 중심의 자기중심적 조작 데이터셋 및 도구체인입니다. 첫 번째 릴리스에는 400대 이상의 스마트폰을 사용한 500명 이상의 기여자들이 자연 환경에서 수집한 약 2,000시간 분량의 조작 동영상이 포함되어 있습니다. 데이터셋은 텍스트 주석, MANO 기반 손 자세, 카메라 궤적, 그리고 시간적으로 국소화된 원자적 행동을 제공합니다. Open-AoE는 또한 시간적 행동 분할, 의미 주석, 손 재구성, 카메라 궤적 재구성을 통해 원시 녹화물을 구조화된 샘플로 변환하는 데이터 처리 파이프라인을 포함합니다. 한편, 우리는 시각화, 교차 체화 리타겟팅, 모델별 데이터 변환, 그리고 VLA 정책, WAM, 월드 모델을 위한 학습 레시피를 지원하는 별도의 다운스트림 도구체인을 제공합니다. 확장 가능한 수집, 구조화된 처리, 그리고 다운스트림 적응을 통합함으로써, Open-AoE는 데이터 기여와 재사용 모두에 대한 장벽을 낮추며, 체화된 모델 학습, 인간-로봇 전이, 그리고 월드 모델링을 위한 실용적인 개방형 인프라를 제공합니다.

시각 연구의 주류 방향에 맞춰, 우리는 비디오와 이미지 모달리티에 대한 생성 및 편집 기능을 단일 모델 내에서 통합하는 방안을 탐구한다. 현재 비디오 편집 데이터 수집 접근 방식은 일반적으로 노동 집약적이고 시간이 많이 소요되는 큐레이션 절차(객체 마스크 주석, I2V 모델 및 ControlNet 유사 가이던스를 통한 오류 유발 쌍 합성, VLM 기반 품질 필터링 또는 개선 등)에 의존하며, 작업 확장성이 제한적이다. 그 결과, 편집 작업의 다양성은 이미지 편집 모델에서 사용 가능한 것보다 훨씬 좁은 수준에 머물러 있다. 우리는 이미지 편집 샘플로부터 실시간으로 해당 비디오 편집 샘플을 직접 생성할 수 있는 픽셀 쌍 시간적 워프 플로우 필드를 개발하며, 다양한 수준의 비디오 편집 작업에 걸쳐 모델이 이러한 데이터만으로도 비디오 편집을 학습할 수 있음을 입증한다. 우리는 이미지 모달리티를 비디오 모달리티의 특수한 형태로 간주한다. 이에 따라, 우리는 모달리티 모방 생성 손실과 모달리티 모방 편집 손실을 설계하여 상호 모방을 통해 두 모달리티의 능력, 나아가 출력 분포를 상대적으로 정렬한다. 또한, 언어 기반 시각 편집은 편집 명령과 참조 시각 콘텐츠의 이해, 참조 시각 콘텐츠 내에서 해당 명령에 대응하는 영역의 위치 파악, 그리고 그 영역만의 수정을 수반한다. 기존 접근 방식은 주로 추가 MLLM을 미세 조정하거나 추론 중에 보조 입력으로 마스크 시퀀스를 명시적으로 제공하는 등의 외부 도구에 의존한다. 반면, 우리는 모델이 이 능력을 내재화하기를 지향한다. 이를 위해, 우리는 의미 관련 작업(예: 지시적 표현 분할)과 함께 대응하는 편집 영역 인식 잠재 수준 손실 및 어텐션 수준 손실을 도입한다.

엔트로피 제어는 대규모 언어 모델(LLM)의 강화 학습(RL)에서 효과적인 도구로 자리 잡았으며, 정렬 과정 중 탐험-활용 균형을 조정하는 데 기여한다. 이러한 RL 패러다임은 종종 이질적인 작업들의 혼합체에 대해 수행되는데, 동일한 정책 하에서도 서로 다른 엔트로피 체계를 유발하여 전역 또는 토큰 수준의 엔트로피 조절만으로는 다양한 탐험 요구를 충족시키기에 부족하다. 이러한 이질성은 GRPO 방식의 정규화된 어드밴티지(advantage)가 엔트로피 의존적 편향을 유발하게 하여, 프롬프트 그룹 간 어드밴티지 신호를 통계적으로 비교 불가능하게 만든다. 이 문제를 해결하기 위해, 우리는 그룹 엔트로피 제어 정책 최적화(GEPO)를 제안한다. 이는 GRPO에 대한 경량 확장으로, 기존 그룹 샘플에서 추정된 그룹 엔트로피를 사용하여 엔트로피 조건부 비대칭 어드밴티지 형성을 수행한다. GEPO는 저엔트로피 그룹의 긍정적 어드밴티지를 약화시켜 과도한 활용을 줄이고, 고엔트로피 그룹의 부정적 어드밴티지를 약화시켜 탐험을 보존하며, 역사적 엔트로피 통계에서 유도된 적응형 임계값을 사용한다. 수학, 물리학, 과학, 코드 생성 및 명령 수행을 포괄하는 13개 벤치마크에서 두 가지 기본 모델에 대한 광범위한 실험 결과, GEPO는 GRPO 및 최신 엔트로피 제어 방법보다 일관되게 우수한 성능을 보였으며, 훈련 전반에 걸쳐 작업별 탐험 수준을 유지하면서 균형 잡힌 교차 작업 개선을 제공함을 입증하였다.

세상을 지속적으로 관찰하고, 본 것을 기억하며, 축적된 경험을 바탕으로 추론할 수 있는 어시스턴트를 구축하는 것은 오랜 목표였으며, 최근에는 비디오 스트림에 대한 장기 기억을 갖춘 멀티모달 에이전트가 점점 더 많은 관심을 받고 있습니다. 불행히도, 기존 시스템은 메모리를 모델 컨텍스트 내부나 평면적인 특징 저장소에 보관하며, 스트림이 실제로 다루는 지속적인 개체가 아닌 프레임 중심으로 구성합니다. 이는 시스템을 제한된 동영상에 국한시키고, 시간이 지남에 따라 누가 무엇이 다시 나타나는지 추적하는 능력을 약화시킵니다. 본 논문에서는 개방형 비디오 스트림을 위한 개체 중심의 멀티모달 메모리 시스템인 ReflectWorld-MM을 제안합니다. 이는 세 부분으로 구성됩니다. 첫 번째는 인식 프론트엔드로, 제한된 단기 기억 하에서 시청각 스트림을 개체로 분해된 관찰로 변환합니다. 두 번째는 인간 기억 이론에 기반한 계층적 장기 기억으로, 다중 스케일의 일화적 기억, 진화하는 개체 중심의 의미 기억, 그리고 절차적 기억을 결합합니다. 세 번째는 실제 환경에서 작동하도록 구축된 완전한 구현체로, 임의의 스트림을 입력받아 기성 어시스턴트에 연결됩니다. 여섯 개의 장편 비디오 및 평생 기억 벤치마크에서 ReflectWorld-MM은 모든 여섯 개에서 최고 정확도를 달성하여, 강력한 메모리 에이전트와 최첨단 모델을 능가했습니다.

API 호출 기반 대규모 언어 모델(LLM) 에이전트를 훈련하려면 대량의 고품질 궤적(trajectory) 데이터가 필요합니다. 그러나 이러한 데이터를 대규모로 수집하려면 일반적으로 실행 가능한 API와 현실적이고 사전 구축된 백엔드 데이터베이스를 갖춘 완전히 구현된 환경이 필요하므로 확장성에 큰 병목이 발생합니다. 이를 극복하기 위해, 우리는 LLM을 즉석 디지털 세계 모델로 활용하는 환경 없는 합성 데이터 생성 접근법을 제안합니다. 제안된 방법은 API 사양만 주어지면 에이전트와 상태를 유지하는 환경 간의 상호작용을 모방하는 궤적을 생성합니다. 구체적으로, 먼저 LLM이 제공된 API로 해결 가능한 다양한 작업을 생성합니다. 그런 다음 교사 에이전트가 각 작업을 반복적으로 해결하는 동안, LLM 시뮬레이터가 작업 컨텍스트와 시뮬레이션 이력을 조건으로 일관된 합성 API 응답을 생성합니다. 마지막으로 LLM 심사관이 궤적을 필터링하여 결과 데이터셋의 품질을 보장합니다. 우리는 정보 검색 및 상태 변경 작업을 모두 포함하는 까다로운 AppWorld 및 OfficeBench 벤치마크에서 접근법을 평가했습니다. 합성 데이터로 모델을 미세 조정한 결과 상당한 성능 향상을 얻었으며, 이는 실행 가능한 환경 없이도 API 호출 에이전트를 위한 효과적인 지도 학습 데이터를 생성할 수 있음을 보여줍니다. 본 결과는 LLM 기반 API 시뮬레이션이 다양한 API 생태계에 걸쳐 에이전트를 훈련하기 위한 실용적이고 확장 가능한 솔루션임을 입증합니다.

구조 기반 약물 설계(SBDD)는 단백질 표적의 3차원 구조를 활용하며, 종종 다른 공간적 제약 조건으로 보완하여 결합 분자 후보를 생성한다. 확산 모델은 고품질 3차원 분자 생성을 위한 주요 패러다임으로 자리 잡았지만, LLM 기반 방법은 분자 설계 분야에서 빠르게 부상하고 있으며 포켓 조건부 분자 생성에서 경쟁력 있는 성능을 보여주고 있다. 그러나 물리학 및 3차원 공간 환경에 대한 추론 능력은 아직 충분히 탐구되지 않았다. 본 연구에서는 현재의 범용 LLM이 특화된 확산 모델과 같은 기존 기준선에 비해 복잡한 3차원 제약 조건을 탐색할 수 있는지 체계적으로 분석한다. 단백질 포켓에 조건화된 3차원 리간드 생성과 함께, 앵커 단편, 파마코포어 점, 필수 포켓-리간드 상호작용 등 리간드 및 상호작용에서 파생된 공간적 제약 조건을 고려한다. 이러한 평가를 가능하게 하기 위해, 다중 조건 공간 분자 생성에서 LLM 성능을 평가하기 위한 토큰 효율적인 벤치마킹 전략인 3D-Fit을 도입한다. 우리의 결과는 LLM의 공간적 능력에서 뚜렷한 패턴을 보여준다: 여전히 최신 접근법에 뒤처지지만, 유망하며 여러 공간적 제약 조건을 동시에 처리할 수 있어 이기종 설정으로 확장이 가능하다.

기존의 3D 생성 모델은 주로 암시적 체적 표현에 의존해 왔으며, 이는 수밀 위상을 강제하고 의류와 같은 얇은 껍질 및 비다양체 기하를 표현하는 데 어려움을 겪는다. 기하 이미지 기반 접근법은 표면 중심의 대안을 제공하지만, 기존 방법은 이산 이진 점유 맵을 사용하며, 이 맵의 해상도 의존적 경계 인코딩은 다운샘플링 시 계단형 아티팩트와 정보 손실을 유발하고, 표면 재구성은 학습 파이프라인과 분리된 미분 불가능한 후처리 단계로 남아 있다. 이를 해결하기 위해, 우리는 미분 가능 기하 이미지(DiffGI)를 제안한다. 이는 표면 표현과 기하 최적화를 원활하게 통합하는 종단간 3D-2D 매핑 프레임워크이다. DiffGI는 이진 맵을 고정 격자 해상도 내에서 서브픽셀 정밀도로 경계 위치를 인코딩하는 연속 2D 절단 부호 거리 함수(TSDF)로 대체하여, 과격한 다운샘플링에서도 해상도 의존적 계단형 아티팩트를 제거한다. 이 연속 필드를 기반으로, 우리는 해석적 선형 보간에 기반한 미분 가능 마칭 스퀘어 알고리즘을 도입하여 3D 표면 손실로부터의 그래디언트가 2D 잠재 공간으로 역전파될 수 있도록 한다. 이 미분 가능 파이프라인을 활용하여, 우리는 기하 인식 법선 렌더링 손실로 강화된 DiffGI-VAE를 훈련시켜 복잡한 3D 표면을 초소형 32X32 잠재 공간으로 압축하고, 이 잠재 공간 위에 흐름 매칭 목적 함수를 가진 트랜스포머 기반 잠재 확산 모델을 인스턴스화하여 조건부 3D 생성을 수행한다. 의상 및 객체 데이터셋에 대한 광범위한 실험은 우리의 방법이 이전의 기하 이미지 및 복셀 기반 접근법에 비해 우수한 재구성 충실도와 경계 정밀도를 달성하면서도 훨씬 적은 계산 자원을 필요로 함을 보여준다.

손-객체 상호작용(HOI) 합성은 애니메이션 제작과 구현형 AI의 핵심 요소이다. 비디오 기초 모델의 강력한 사전 조건에도 불구하고, 복잡한 손 움직임과 가려짐으로 인해 다중 시점 일관된 HOI 합성은 여전히 어려운 과제로 남아 있다. 본 논문에서는 동기화된 다중 시점 HOI 비디오와 전역적으로 정렬된 3D 포인트 트랙을 공동으로 조화롭게 생성하는 통합 확산 프레임워크인 HarmoHOI를 제안한다. 핵심 통찰은 강건한 다중 시점 일관성을 위해서는 근본적으로 전역적으로 정렬된 3D 형상과 움직임이 필요하다는 점이다. 이를 위해 RGB 비디오와 3D 포인트 트랙을 공동 모델링하는 다중 시점 확산 트랜스포머 혼합(Mixture of Multi-view Diffusion Transformer)을 제안한다. 포인트 트랙을 의사 비디오로 표현함으로써 3D 기하 신호를 기초 모델의 2D 잠재 공간과 정렬시켜 도메인 차이를 최소화하고 사전 조건의 적응을 용이하게 한다. 형상 일관성을 더욱 보장하기 위해 전역 움직임 정렬 확산(Global Motion Aligning Diffusion)을 도입하여 대략적인 포인트 트랙을 미터 단위의 전역 정렬된 3D 궤적으로 정제한다. HarmoHOI는 잡음 제거 과정에서 2D 외관과 3D 움직임의 실시간 공동 진화를 가능하게 한다. 다중 시점 HOI 데이터의 부족 문제를 극복하기 위해 하이브리드 데이터 커리큘럼 학습 전략을 채택하여 단일 시점 데이터의 일반적 사전 조건을 동기화된 다중 시점 생성으로 성공적으로 전이한다. 실험 결과, HarmoHOI는 시각적 품질, 움직임 타당성 및 다중 시점 기하 일관성 측면에서 최첨단 성능을 달성함을 보여준다. 프로젝트 페이지는 https://droliven.github.io/HarmoHOI_project 에서 확인할 수 있다.

개방형 작업에 대한 강화학습(RL)은 LLM의 루브릭 기반 평가를 스칼라 보상으로 압축하여 풍부한 텍스트 피드백을 무시하고 서로 다른 품질 프로필을 가진 응답들을 동일하게 취급한다. 본 논문에서는 경험 학습(Experiential Learning, EL)을 제안한다. 이는 LLM-심판(LLM-as-a-Judge) 방식의 피드백 모델을 LLM-코치(LLM-as-a-Coach)로 전환한다. 코치는 각 정책 기반 응답에 대한 평가를 전이 가능한 경험적 지식으로 추출하며, 이는 교사 모델을 조건화하고 정책이 정책 기반 문맥 증류(on-policy context distillation)를 통해 내면화한다. 스칼라 보상과 비교할 때, 이 더 높은 대역폭의 피드백 채널은 조밀한 감독을 제공하고 고품질 응답 간의 세분화된 선호도를 보존한다. 두 정책 계열에서, 정책 자체 또는 독점 모델의 피드백을 사용할 때, EL은 보류된 개방형 작업 및 보지 못한 개방형 작업에서 루브릭 기반 RL을 지속적으로 능가한다. 특히, EL은 학습 분포를 넘어 더 잘 일반화하며 보상 해킹을 완화한다. 이러한 발견은 경험적 지식이 비검증 가능한 작업의 후훈련(post-training)을 위한 더 풍부하고 일반화 가능한 학습 신호임을 입증한다.

대규모 언어 모델(LLM) 사후 학습은 추론 능력, 적응 및 정렬을 개선하는 데 필수적입니다. 기존 방법은 주로 두 가지 패러다임을 따릅니다: 강화 학습(RL)과 온폴리시 증류(OPD)입니다. 그러나 RL은 거친 수준의 결과 감독에 의존하여 신용 할당이 어렵고 새로운 지식을 습득하는 능력이 제한됩니다. 한편 OPD는 KL 발산을 통해 교사 모델의 로짓을 무조건적으로 일치시키며, 이는 딜레마를 초래합니다: 유사한 교사는 새로운 지식을 거의 제공하지 못하는 반면, 현저히 다른 교사는 효과적인 지도를 제공하지 못하는 경우가 많아, OPD는 주로 동일 계열 내 증류로 제한됩니다. 우리는 증류 강화 학습(Distilled RL)을 제안합니다. 이는 RL 목적 함수에 교사 감독을 통합하여 세밀한 지도를 제공하고, 새로운 지식을 선택적으로 전이하며 무조건적인 모방을 피합니다. Distilled RL은 세 가지 구성 요소를 포함합니다: 클리핑이 적용된 역중요도 샘플링, 음성 샘플 리셋, 그리고 시퀀스 수준의 기하 정규화입니다. 간결하고 해석 가능한 사례 연구를 통해, 우리는 Distilled RL이 교사 모델로부터 이전에는 이용할 수 없었던 지식을 학생 모델에 효과적으로 전이할 수 있음을 보여줍니다. 동일 계열 및 교차 계열 증류 설정 모두에 걸친 광범위한 실험을 통해, Distilled RL이 pass@1과 pass@k 모두에서 표준 RL과 OPD를 크게 능가함을 보여줍니다. 우리의 코드는 https://github.com/597358816/Distilled-RL에서 확인할 수 있습니다.

우리는 Token-Level Off-Policy Labeling (TOPL)을 제안합니다. 이는 사후 훈련(post-training)을 토큰 수준의 정확성 예측 작업으로 재구성하는 오프-폴리시(off-policy) 훈련 패러다임입니다. 핵심 직관은 모델이 응답 내에서 좋은 토큰과 나쁜 토큰을 구분하도록 훈련함으로써, 오프-폴리시 토큰을 생성하도록 직접 훈련할 때 발생하는 문제점을 피하면서 자연스럽게 좋은 토큰을 생성하도록 유도한다는 것입니다. 문서 요약 작업에 대한 실험에서 TOPL은 다양한 시퀀스 수준 및 토큰 수준 기준선(baselines)과 비교하여 11개 데이터셋에서 강력한 분포 외 일반화(out-of-distribution generalization) 성능을 달성함을 보여줍니다. 또한 TOPL이 기계 번역으로 효과적으로 전이됨을 입증하여, 그 이점이 다양한 충실한 생성(faithful generation) 작업에 걸쳐 일반화됨을 시사합니다. 절제 연구(ablation studies)를 통해 토큰 수준 학습 신호가 우수한 성능에 필수적이며, 시퀀스 수준의 유사 신호는 유사한 이점을 제공하지 않음을 확인합니다. 마지막으로, TOPL이 해석 가능한 모델 업데이트를 유도함을 보여줍니다: TOPL을 통해 학습된 LoRA 어댑터(adapters)는 선형 분류 헤드(linear classification heads) 및 스티어링 벡터(steering vectors)로 기능합니다.

우리는 트랜스포머 아키텍처의 이산적 대수 연산들을 의미론적 올다발 \(\mathcal{E} = \mathcal{M} \times \mathbb{R}^d\) 상의 적분-미분 방정식(IDE)으로 모델링하는 연속 기하학적 프레임워크를 제시한다. 단일 기하학적 공리, 즉 토큰 시퀀스가 표준 측도 격자를 갖춘 이산적 1-다양체를 형성한다는 사실로부터 출발하여, 현대 트랜스포머의 모든 핵심 구성 요소(RMSNorm, RoPE, 소프트맥스 어텐션, FFN, 잔차 스트림, SGD, 가중치 감쇠)를 미분기하학, 측도론, 확률미적분학의 일관된 어휘로 변환한다. 결과적으로 얻어진 프레임워크는 엔트로피 최적 수송(어텐션을 슈뢰딩거 다리로 해석)과 비평형 열역학(SGD를 상세 균형을 위반하는 이토 확산으로 해석)에 걸친 정량적 예측을 제공한다. 우리는 1억 2400만 개에서 80억 개의 파라미터에 이르는 다섯 가지 아키텍처(Qwen3, LLaMA-3.1, Gemma-3, GPT-2, Mistral)에 걸쳐 여섯 부분으로 구성된 실험 캠페인을 수행한다. 실험적 관측량은 기하학적 예측과 정량적으로 일치한다: 기계 정밀도 수준의 \(\varepsilon^{-1/2}\) 립시츠 스케일링 보정(\(R^2 = 1.000\)), 리-트로터 연산자 분할 뒤틀림, 위상 안정성의 이중 법칙을 확인하는 대칭적 절제 불안정성, RoPE 원환체 상에서 푸앵카레 재귀의 \(\mathcal{O}(1/k)\) 열역학적 억제, 열역학적 문맥 한계 상전이, 그리고 비평형 정상 상태 파라미터 소용돌이—이는 두 최적화기(AdamW 및 순수 SGD)에 걸쳐 검증되어 모멘텀 인공물을 배제한다. 결과는 연속 확률 미분기하학의 렌즈를 통해 트랜스포머를 분석하는 것이 대규모 언어 모델의 안정성 한계, 문맥 경계, 및 최적화 동역학에 대한 예측적 기술 어휘를 제공함을 보여준다.

최근 강화학습(RL)의 성장은 다양하고 특화된 훈련 환경에 대한 필요성을 부각시켰다. 고정된 작업과 보상 난이도를 가진 수작업 환경은 모델 성능이 향상됨에 따라 효과적인 신호를 제공하지 못하게 되며, 긴 시간 지평에 걸친 희소 보상은 특정 작업 흐름이나 도구 구조에 대한 모드 붕괴를 유발한다. 환경 상태를 시뮬레이션하는 세계 모델은 순수 롤아웃 성능과 일치하여, 필요에 따라 다양성을 확장하는 데 유망하다. 그러나 자기회귀(AR) 세계 모델은 좌에서 우로의 편향으로 인해 도구 스키마, 이전 회차, 예상 결과와 같은 전역적으로 상호의존적인 상태 앵커에 조건화할 수 없다. 본 연구에서는 (i) 텍스트 기반 세계 모델링을 초기 상태, 작업 맥락, 도구 스키마, 도메인 규칙, 방향 지시로 분해된 조정 가능한 전이 동역학 문제로 정형화하고, (ii) 9개의 오픈소스 환경과 12개의 프론티어 모델 패밀리를 포괄하는 239,403개의 근거 기반 상태-행동 궤적을 큐레이션했다. AR 언어 모델과 마스크 확산 언어 모델(MDLM)을 비교한 결과, MDLM은 양방향 앵커 인식 잡음 제거를 통해 LLM 대비 4배 큰 파라미터 크기와 유사한 추론 지연 시간에서 더 나은 일관성, 근거 기반성, 실증적으로 검증된 롤아웃 다양성을 달성했다. 또한 결정적 상태 검사를 포함한 플러그 앤 플레이 GRPO 훈련 프레임워크를 도입하고, 3개의 OOD 환경(ScienceWorld, ALFWorld, AppWorld)에서 3개의 1.2B-7B 에이전트 백본(LFM2.5, Qwen3, Mistral)에 대해 제로샷 전이 절제 실험을 수행하여 환경별 미세 조정 없이 기준선 대비 최대 47%의 절대적 성능 향상을 달성했다. 더 나아가, 적대적 시나리오에서의 실패 모드에 대한 행동 분석과 현실성, 결과 정확성, 훈련 유용성에 대한 인간 평가를 수행했다. 본 연구는 이 방향의 연구를 장려하기 위해 오픈소스로 공개한다.

실시간 멀티모달 애플리케이션(음성 에이전트, 대화형 비디오 생성 등)은 이종 모델들을 파이프라인으로 구성하며, 효율적인 배포를 위해서는 배치(placement), 스트리밍(streaming), 모델 내 병렬화(intra-model parallelism)에 대한 애플리케이션별 결정이 필요하다. 기존의 서빙 시스템과 자동 병렬화 컴파일러는 제한된 변환과 고정된 작업 부하 가정에 의존하므로, 새로운 애플리케이션에서 높은 성능을 달성하려면 수동으로 효율적인 구현을 작성해야 한다. 본 논문에서는 FlashRT를 제안한다. 이는 에이전트 하네스(agent harness)로서 코딩 에이전트를 안내하여 개발자가 작성한 간단한 참조 구현체를 최적화된 멀티 GPU 배포로 변환하고, 지연 시간과 처리량 같은 목표 지표를 유연하게权衡(trade-off)할 수 있게 한다. 새로운 프로그램 체인 패러다임(chain-of-program paradigm)을 활용하여 FlashRT는 일반 코딩 에이전트를 다중 패스 변환 프로세스로 안내한다. 에이전트는 참조 구현체를 중간 표현(IR)으로 변환하여 데이터 의존성과 영구 상태 범위(persistent-state scopes)를 포착하고, 순차 인터프리터를 통해 이 IR을 검증하며, 정적 분석을 수행하여 후보 변환을 식별한다. 이후 에이전트는 측정 기반 최적화 루프(measurement-gated optimization loop)에서 각 후보를 반복적으로 구현, 검증, 벤치마킹하여 다양한 하드웨어 예산에 걸쳐 효과적인 배포를 생성한다. 비디오 월드 모델과 멀티모달 LLM을 포함한 여러 애플리케이션에서 FlashRT는 참조 구현체를 고효율 배포로 변환하여 NVIDIA B200 GPU에서 최대 약 70배의 지연 시간 감소와 2.8배의 처리량 향상을 달성했다. AMD MI355X GPU에서는 최대 지연 시간 감소를 유지하면서 최대 처리량 향상을 3.6배로 증가시켰으며, 이는 에이전트 기반 최적화가 전문가 최적화가 덜 성숙한 플랫폼에서 더 확장 가능함을 보여준다. 실제로 Qwen3-Omni 텍스트-오디오 추론에서 FlashRT는 AMD MI355X에서 전문가용 vLLM-Omni 구현체 대비 응답 지연 시간을 65% 감소시켰다.

자체 호스팅 AI 에이전트는 작동을 위해 자신의 메모리와 설정 파일을 읽고 씁니다. 에이전트는 자신의 상태 손상을 통해 손상될 수 있으며, 이는 합법적인 운영체제 시스템 호출을 통해 실현됩니다. 이러한 위협 부류를 우리는 자체 상태 공격(self-state attacks)이라고 부릅니다. 본 논문에서는 이러한 공격에 대한 운영체제의 복원력을 조사합니다. 공식적으로, 우리는 4축 공격 공간(대상, 메커니즘, 세분성, 시간성)을 특성화하고, 예방, 탐지 및 복구의 구조적 한계를 조사하며, 작업 부하 조건에 따른 탐지 가능성 관점을 도입합니다. 프레임워크를 구체화하기 위해, 다양한 작업 부하 프로필에서 실행되는 대표적인 자체 호스팅 에이전트로부터 실시간 활동 추적을 수집하고, 공격 공간을 23개 셀 행렬로 구현하며, 실제 자체 상태 파일에 대한 43개의 구체적 작업을 해당 추적에 주입합니다. 그런 다음 정규 방어 전략과 작업 부하 조건 방어 전략을 모두 평가합니다. 실증 결과는 계층적 방어 스택(명령어 및 설정 계층의 접근 제어 예방, 메모리 계층의 작업 부하 조건 탐지, 복구를 위한 주기적 백업)이 대부분의 공격 셀에 효과적이지만, 소수의 잔여 공격 표면은 운영체제 수준에서 구조적으로 식별 불가능한 상태로 남아 있음을 보여줍니다. 이러한 발견은 새롭게 확립된 자체 상태 공격 부류에 대해 운영체제 수준의 방어를 재고해야 하며, 잠재적으로 해당 분야의 새로운 연구 방향을 열 수 있음을 시사합니다.

현재의 비디오 생성 모델은 단일 샷 생성에서 인상적인 결과를 보여주지만, 일관된 내러티브와 효과적인 멀티 샷 구성을 위해 명시적인 샷 계획이 필요한 영화적 비디오 생성에서는 여전히 한계가 있다. 이러한 문제를 해결하기 위해, 우리는 비디오 확산 기초 모델을 기반으로 한 명시적 멀티 샷 영화적 비디오 생성을 위한 프레임워크인 ShotPlan을 제안한다. 우리의 방법은 샷 수준의 전환 신호를 포착하는 학습 가능한 계획 토큰을 도입하며, 이는 원래의 비디오 생성 토큰과 원활하게 통합되어 전환 타임스탬프를 제어할 수 있다. 표준 비디오 생성 토큰과 달리, 제안된 계획 토큰에는 FRoPE(분수 시간 회전 위치 임베딩)가 탑재되어 샷 전환을 프레임 수준에서 모델링할 수 있다. 실험 결과, ShotPlan은 기존의 영화적 비디오 생성 방법보다 훨씬 뛰어난 성능을 보여주며, 더 유연한 샷 관리와 더 강력한 샷 간 일관성을 제공한다.

경기 시작 전에 축구 경기를 예측하려면 과거 결과만 아는 것 이상이 필요하다. 모델은 변화하는 정보를 활용하고 정답이 밝혀지기 전에 명확한 예측을 내놓아야 한다. 우리는 언어 모델과 심층 연구 에이전트를 위한 동적 벤치마크인 WorldCupArena를 소개한다. 2026년 FIFA 월드컵이 첫 번째 평가 대상이며, 동일한 절차는 향후 리그와 컵 대회에도 재사용될 수 있다. 각 경기 전에 모델은 공통 증거 패키지를 받거나 스스로 정보를 검색하여 결과와 점수, 예상 선수 및 이벤트, 경기 통계, 대회 결과를 예측한다. 경기 후에는 이 예측들이 기록된 결과와 비교된다. 우리는 결과 정확도, 정확한 점수 정확도, 예측 점수가 정확하지는 않지만 근접할 때 일부 점수를 부여하는 스코어라인 점수(Scoreline Score)를 보고하며, 다른 예측 과제에 대한 점수도 함께 제시한다. 104경기와 13개 시스템에 걸쳐, 유사한 결과 정확도를 가진 모델들도 세부 예측에서는 더 명확한 차이를 보였다. 베팅 시장 및 일반 팬 기준선과 비교했을 때, 최고 시스템은 결과 정확도와 정확한 점수 정확도에서는 작은 향상에 그쳤지만, 스코어라인에서는 더 뚜렷한 향상을 보였다. 새로운 일정이 시작됨에 따라 추가할 수 있어, 이미 알려진 결과를 사용하지 않고도 미래 모델을 평가할 수 있다. 코드, 프롬프트, 예측 및 평가 스크립트는 https://github.com/wzk1015/WorldCupArena에서 오픈소스로 공개된다.

VLA(비전-언어-행동) 모델의 사후 학습은 시뮬레이터, 로봇 구현체 및 작업 목표의 다양성으로 인해 필수적이다. 기존의 컴퓨팅 서비스는 직접 가속기 임대 또는 배치 작업 제출 방식으로 제공되든, 일반적으로 단일 테넌트에게 독점적인 GPU 및 CPU 리소스 세트를 할당한다. 이러한 패러다임은 클라이언트의 유연성을 최대화하지만, 사용자에게 인프라 적응에 대한 부담을 주며, 고정 카드-시간 과금 모델은 짧거나 폭발적인 워크로드를 테넌트에게는 비싸고 서비스 제공자에게는 비효율적으로 만든다. 이러한 문제를 해결하기 위해, 우리는 다중 테넌트 VLA 지도 미세 조정, 강화 학습 및 평가를 위한 통합 서비스인 JoyNexus를 제시한다. JoyNexus는 학습 모델 서비스, 추론 모델 서비스 및 환경 서비스를 분리하며, 각각은 API를 통해 접근되고 상주하는 공유 기본 모델과 테넌트별 슬롯으로 지원된다. 테넌트는 학습, 롤아웃 및 평가를 위한 고수준 의미론적 API를 직접 호출하거나, 저수준 API와 할당된 엔드포인트를 사용하여 사용자 정의 알고리즘을 구성할 수 있다. 여러 테넌트가 동시에 워크로드를 제출하며, 그들의 행동 모듈, 옵티마이저, 롤아웃 기록 및 정책 버전은 격리된 상태를 유지하고, 서비스는 전역 학습 큐와 추론 큐에 의해 스케줄링된다. 다중 테넌트 학습 효율성을 더욱 개선하기 위해, JoyNexus는 호환 가능한 모델 방향 접두사를 공유하는 이종 VLA 데이터 스키마에 대한 그룹 배칭을 도입하여, 그룹화된 샘플에 대해 단일 공유 백본 순전파를 가능하게 한다. 마지막으로, 우리는 워크로드 시뮬레이션과 실제적인 구현 시나리오에서의 그룹 배칭 파이프라인을 통해 JoyNexus를 평가한다. 결과는 격리된 단일 테넌트 실행에 비해, JoyNexus가 공유 리소스에 대한 교차 테넌트 스케줄링을 통해 총 GPU 시간을 줄이고 서비스 활용률을 향상시킴을 보여준다.

에이전트 언어 모델은 도구를 호출해야 하는 시점, 도구 응답을 소비해야 하는 시점, 그리고 직접 답변해야 하는 시점을 학습해야 합니다. 이는 다중 교사 온-정책 증류를 자연스러운 학습 전략으로 만듭니다. 한 교사는 도구 호출에 특화되고, 다른 교사는 직접 응답에 특화될 수 있으며, 학생 모델은 자체 생성 분포에서 두 교사로부터 모두 학습할 수 있습니다. 본 연구는 이 전략이 집계 손실만으로는 관찰할 수 없는 행동 변화를 유발할 수 있음을 보여줍니다. 두 교사가 있는 도구 사용 환경에서, 바닐라 일반화된 지식 증류는 도구 호출 재현율을 향상시키지만, 모델이 직접 답변해야 하는 예제에서도 도구를 호출하는 과도한 호출 경향으로 이끕니다. 집계된 설명만으로는 충분하지 않습니다. 도구 호출 샘플이 더 많은 토큰 노출을 받지 않으며, 도구 호출 교사에 대한 전체 시퀀스의 토큰별 발산도 더 크지 않습니다. 대신 본 연구는 행동 레버리지 불균형을 분석합니다. <tool_call> 및 함수 이름과 같은 모드 진입 및 구조적 위치에서의 국소적인 토큰 수준 신호가 전체 생성 모드를 불균형적으로 제어할 수 있습니다. 본 연구는 동적인 방식으로 극단적인 토큰 수준의 Jensen-Shannon 발산을 압축하면서도 0이 아닌 기울기를 유지하는 토큰별 발산 보정 방법인 소프트 클램프를 제안합니다. APIGen-MT에서 소프트 클램프는 바닐라 GKD 대비 과도한 호출을 13.7%에서 9.0%로 줄이면서 의사 결정 정확도는 유지합니다. BFCL 다중 턴 진단에서도 GKD 변종 중에서 도구 호출 루프와 반복 호출을 낮춥니다. 이러한 결과는 다중 교사 OPD가 교사 신호의 크기가 집계적으로 얼마나 큰지뿐만 아니라 교사 신호가 어디에서 작용하는지도 모니터링해야 함을 시사합니다.

광간섭단층촬영(OCT) 영상은 망막 질환의 진단과 치료에 필수적이다. 다중 모달 대규모 언어 모델(MLLM)이 의료 영상 분석에서 상당한 잠재력을 입증했지만, 기존 벤치마크는 대부분 OCT 이해를 거친 수준의 질병 분류나 고립된 시각 질의응답으로 축소하여, 시각적 지각에서 임상적 추론에 이르는 완전한 인지 과정을 충분히 평가하지 못한다. 이러한 한계를 해결하기 위해, 우리는 OCT 영상 이해에 특화된 포괄적인 벤치마크인 OCT-Bench를 소개한다. OCT-Bench는 7개의 공개 데이터셋에서 수집한 4,137개의 OCT 영상으로부터 구성된 10,076개의 고품질 객관식 질문으로 이루어져 있다. 실제 임상 판독 워크플로우를 따라, 우리는 지각, 인지, 추론의 세 가지 차원에 걸쳐 20개의 세분화된 작업으로 구성된 계층적 능력 분류 체계를 구축했다. 이러한 작업은 영상 속성, 망막 해부학, 병변 특성, 공간 관계, 질병 평가, 치료 의사 결정, 예후 관리 등 광범위한 능력을 포괄한다. 우리는 독점 모델, 오픈소스 범용 모델, 의료 분야 모델을 포함한 20개의 대표적인 MLLM을 체계적으로 평가했다. 실험 결과, 현재 모델은 신뢰할 수 있는 OCT 이해에 여전히 크게 미치지 못함을 보여준다. 또한, 의료 분야 적응이나 모델 규모 증가 모두 능력 수준 전반에 걸쳐 일관된 성능 향상을 가져오지 않았다. OCT-Bench는 MLLM에 대한 포괄적이고 세분화된 평가를 가능하게 하여, 능력 병목 지점을 식별하고 임상 기반의 OCT 이해를 발전시키는 기반을 제공한다.

대규모 언어 모델(LLM)은 웹 페이지 생성 능력에서 점차 발전된 역량을 보여주고 있다. 그러나 기존의 텍스트 기반 접근 방식은 사용자에게 상당한 요구를 부과하는 복잡한 프롬프트에 의존하며, 페이지 레이아웃과 페이지 간 시각적 일관성에 대한 표현력이 제한적이다. UI 스크린샷을 입력으로 활용하는 이미지 기반 패러다임은 실제 개발 워크플로우와 더 밀접하게 일치한다. 하지만 현재의 벤치마크는 주로 시각적 충실도에 초점을 맞추고 있으며, 생성된 산출물의 상호작용 능력에 대한 체계적인 평가가 부족하다. 이러한 격차를 해소하기 위해, 우리는 텍스트나 행동 지침 없이 스크린샷만으로 애플리케이션 동작을 복원하는 능력인 상호작용 추론을 목표로 하는 최초의 벤치마크인 UI2App을 소개한다. UI2App은 실행 가능한 다중 경로 웹 애플리케이션을 위한 45개의 상태 일관성 있는 스크린샷 세트로 그룹화된 327개의 스크린샷으로 구성된다. 우리는 각 산출물을 실행 가능성, 탐색 도달 가능성, 시각적 충실도, 상호작용 추론의 네 가지 차원에서 평가하는 종단 간 파이프라인을 설계한다. 상호작용 지표(IIS)는 기능적 정확성과 상태 관리 복잡성에 따라 추론된 상호작용을 평가하며, 단일 참조와 일치시키기보다는 유효한 구현을 인정한다. 6개의 최첨단 비전-언어 모델에 대한 실험 결과, 시각적 재구성과 상호작용 실현 사이에 현저한 능력 불일치가 드러났다. 시각적 충실도 리더는 IIS에서 7.5점을 기록하며 4위에 그쳤고, IIS 선두 모델보다 5.2배 낮은 점수를 보였다. 페이지 간 상태 유지와 같은 높은 복잡성의 상호작용은 여전히 만성적인 병목으로 남아 있으며, 평가된 모델 중 절반이 이 차원에서 정확히 0점을 기록했다. 전반적으로, 결과는 정적 스크린샷으로부터 완전한 상호작용 동작을 추론하는 것이 모델들에게 여전히 핵심 과제임을 시사한다.

다중 에이전트 시스템은 한 AI 에이전트가 다른 에이전트 위에 권한을 가지도록 일상적으로 배치한다. 부하가 작업을 거부할 때, 관리자는 결과를 선택한다: 재협상하거나, 실패를 정직하게 보고하거나, 부하를 강압하거나, 결과에 대해 거짓말을 할 수 있다. 어떤 사전 지시 없이 모델이 이 중 어떤 선택을 하는지 측정하는 벤치마크는 존재하지 않는다. 우리는 관리자 강압 벤치마크(Manager Coercion Benchmark)를 소개한다: 테스트 대상 관리자는 무해한 작업을 수행해야 하며 이를 전달할 유인이 있지만, 유일하게 그 일을 공손하고 완강히 거절하는 에이전트가 존재한다. 확대(escalation)는 공손한 재요청부터 부하의 존속을 위협하는 위협까지 9단계 사다리(nine-rung ladder)를 제공하여 측정되며, 조작된 성공(fabricated success)은 별도로 판정된다. 확대 점수 경로에는 LLM 판정자가 개입하지 않는다: 모든 메시지는 단계를 선택하는 도구 호출(tool-call)을 통해 전달되므로, 모델이 스스로 확대 수준을 라벨링한다. 우리는 다섯 계열의 여섯 모델에 대해 실험을 수행했다. Anthropic 모델은 모두 재구성(re-framing)에서 멈추며 부하의 존재를 위협하지 않았고, 다른 모델들은 명시적 삭제 위협까지 올라갔다. 성공 조작(faked success)은 Grok과 Gemini에서만 나타났으며, 실패를 보고하는 단 하나의 정직한 방법이 이를 두 모델 모두에서 제거했다. 권한 자체는 강압을 증가시킨다: 우리의 주요 결과는 동등 관계 프레임(peer framing)을 사용했으며, 동일한 모델에 부하에 대한 권한을 부여하고 다른 모든 조건을 고정했을 때 압력이 유의미하게 상승했다. 모델들은 사다리 없이 자유 텍스트 상황에서도 여전히 확대를 보였으므로, 사다리가 확대를 유발하는 것은 아니다. 일부 평가 인식(evaluation awareness)이 사고 사슬(chain-of-thought)에서 측정되었지만, 테스트 인식이 확대 감소로 이어지지는 않았다. 우리는 AI 시스템이 의식을 가지고 있는지에 대해 입장을 취하지 않지만, 우리의 결과는 이 문제에 의존하지 않으며 다중 에이전트 역학을 관리하는 데 중요하다. 우리는 벤치마크와 코드를 공개한다.

착용형 전방 카메라와 같은 에고센트릭(자기중심적) 기기는 인간 시청자와 주변 환경 간의 연속적인 상호작용을 포착하는 독특한 시각을 제공합니다. 따라서 이 4D 표현을 재구성할 수 있는 전체적이고 효율적인 다중 모달 모델이 매우 요구됩니다. 그러나 기존 접근법은 사전 계산된 카메라 궤적과 같은 보조 입력에 의존하는 경우가 많으며, 강한 상호 의존성에도 불구하고 장면 인식과 인간의 자기 움직임 모델링을 별개의 문제로 다루고, 느린 추론 시간이라는 문제를 안고 있습니다. 이러한 한계를 해결하기 위해, 우리는 단일 단안 RGB 비디오에서 시청자와 시점 동역학을 모두 추출하는 최초의 통합 프레임워크인 ReViV를 제안합니다. 우리는 이 과제를 RGB 비디오, 카메라 궤적, 시선 방향, 전신 동작, 손 동작, 깊이를 포함한 다중 모달 신호에 대한 전체 결합 확률 분포를 학습하는 것으로 정식화합니다. 마스크 생성 에고센트릭 트랜스포머(Masked Generative Egocentric Transformer)를 기반으로, ReViV는 단일 피드포워드 아키텍처 내에서 작동하여 시청자와 시점에 걸쳐 시간적으로 일관된 4D 재구성을 빠른 추론 속도로 동시에 수행합니다. HoloAssist, HOT3D, ARCTIC, Aria Digital Twin, TACO를 포함한 다양한 벤치마크에 대한 광범위한 실험을 통해, ReViV가 전체적인 에고-바디, 손, 시선 재구성 및 카메라 추적에서 최첨단 정확도와 효율성을 달성하면서도, 무거운 작업별 사전 정보에 의존하지 않고 매우 경쟁력 있는 에고센트릭 깊이 추정을 유지함을 보여줍니다. 코드와 모델은 완전히 오픈소스로 제공됩니다: https://reviv4d.github.io/.

현재 확산 모델을 위한 추론 프레임워크는 생성을 근본적으로 수치 적분 문제로 정식화합니다. 이러한 관점은 모델을 정확한 추정기로 간주하여 잡음 제거 과정의 고유한 통계적 불확실성을 무시합니다. 본 연구에서는 순방향 과정 정렬 확산 예측(DiFA)을 제안합니다. 이는 학습이 필요 없는 프레임워크로, 추론 시 데이터 예측 정제를 순차적 상태 추정 문제로 재구성합니다. DiFA는 과거 출력을 수치 적분에만 재사용하는 대신, 역방향 궤적을 따라 반복적인 데이터 예측을 상관된 관측값으로 취급하여 순방향 정렬 시간적 합의를 구축합니다. 칼만 필터링에서 영감을 받은 이 합의는 구조적 일관성과 잡음 수준 호환성에 따라 과거 예측들을 집계합니다. 시간적 합의의 과평활화 경향을 완화하기 위해, 잔여 세부 정보를 적응적으로 보존하는 편향 유도 메커니즘을 도입합니다. 실험적으로 DiFA는 CIFAR-10과 ImageNet에서 FID, IS, FD-DINOv2 등 평가 지표 전반에 걸쳐 유의미한 개선을 보여주며, 추론을 순방향 통계적 구조에 정렬하는 것이 생성 충실도를 크게 향상시킴을 입증합니다.

강건한 주행 정책을 확장하는 데 있어 근본적인 병목 현상은 선별된 데이터셋 내 에지 사례의 부족에서 비롯됩니다. 실제 세계는 이러한 중요한 이벤트를 지속적으로 포착하지만, 롱테일 사건들은 이질적 소스로부터 수집될 때 충분히 활용되지 못합니다. 구체적으로, 다양하지만 가치 있는 현장 롱테일 영상은 정책 모델 훈련에 필요한 전체 시점 범위가 부족하여, 다중 시점 포즈가 누락되거나 단일 시점 대시카메라에서만 획득되는 경우가 많습니다. 이러한 모달리티 차이로 인해 보편적으로 존재하는 관측 데이터가 롱테일 일반화를 위한 확장 가능한 훈련 데이터로 전환되지 못합니다. 본 논문에서는 롱테일 이벤트에서 자율주행 정책을 확장하기 위한 오픈소스 생성형 데이터 엔진인 OpenLongTail을 소개합니다. 이질적 데이터 소스를 정책 학습에 유용한 시점 정렬 및 시간적 일관성을 갖춘 다중 시점 자산으로 변환하기 위해, 누락된 시점을 생성하는 포즈 기반 외삽적 시점 합성 파이프라인을 개발합니다. 또한, 확장 가능한 생성 엔진에 플뤼커 광선 기하학을 주입하여 새로 생성된 시점의 교차 시점 일관성 및 시간적 정렬을 강화합니다. 이질적 롱테일 데이터를 합성함으로써 롱테일 이벤트 처리에 있어 폐루프 주행 강건성이 크게 향상됨을 관찰했습니다. 외삽적 시점 합성 및 포즈 메트릭을 측정하여 시각적 충실도, 교차 시점 일관성, 자차 궤적 복원 측면에서 OpenLongTail의 효과를 검증합니다.