일간 논문

비전-언어-행동(VLA) 모델은 범용 체화 에이전트의 지배적인 패러다임으로 부상하여, 구조화된 환경에서 복잡하고 장기 지평의 과제 수행에 강력한 성능을 입증해 왔다. 그러나 현재의 VLA 시스템이 보다 효과적인 아키텍처 설계의 이점을 얻을 수 있는지, 훨씬 더 크고 이질적인 데이터 체계로 확장될 수 있는지, 그리고 과제와 구현체 전반에 걸쳐 더 폭넓은 일반화를 달성할 수 있는지는 여전히 미해결 문제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 다양한 로봇 구현체에 걸쳐 현저히 개선된 일반화 성능을 갖춘 체화 기반 모델인 GigaBrain-0.7을 제시한다. 구체적으로, GigaBrain-0.7은 3-시스템 아키텍처를 통해 이해, 예측, 행동을 통합하고, 37,000시간 이상의 이질적 체화 데이터로 사전학습을 확장하며, 비전-언어 이해와 다중 구현체 행동 생성을 동시에 최적화하는 단일 단계 정렬 훈련을 도입한다. 이전 GigaBrain-0 시리즈 및 π_{0.5}를 포함한 기존 최첨단 모델과 비교하여, GigaBrain-0.7은 기반 제로샷 성능, 언어 조건부 지시 수행, 후속 훈련 과제 성공률에서 상당한 개선을 달성한다. 특히, 자체 개발한 Maker H01 플랫폼과 주류 로봇 구현체에서 GigaBrain-0.7은 가정 및 산업 현장 시나리오 모두에서 강력한 과제 적응성과 완료 능력을 입증한다. 모든 훈련 코드와 사전학습 모델 가중치는 공개될 예정이다.

멀티모달 대규모 언어 모델(MLLM)은 통합 비디오 인식을 위한 지배적인 패러다임이 되었다. 그러나 대규모 멀티태스크 데이터셋에 대한 사후 학습은 여전히 어려운 과제로 남아 있는데, 기존 강화 학습 방법들은 비용이 많이 드는 사고 사슬(CoT) 생성에도 불구하고 고품질 롤아웃이 거의 없는 온-폴리시 그룹을 샘플링하기 때문이다. 본 논문에서는 비디오 MLLM을 위한 RL 사후 학습의 샘플 효율성과 확장성을 연구하고 OraRL을 소개한다. 우리는 어노테이션의 간과된 역할을 발견한다. 즉, 각 어노테이션은 롤아웃을 점수화하는 것 외에도 오라클 롤아웃으로서 자신의 온-폴리시 그룹에 포함되어 직접적인 긍정적 최적화 대상이 될 수 있다. 그러나 직접적인 오라클 통합은 사소하지 않다. 높은 보상의 오라클은 그룹 베이스라인을 높이고, 그렇지 않았다면 긍정적이었을 정책 어드밴티지를 역전시키며, 우리는 이러한 실패를 어드밴티지 역전이라 부른다. OraRL의 핵심에는 분리된 어드밴티지 추정기가 있다. 정책 롤아웃은 오라클이 없는 베이스라인을 결정하고, 오라클-정책 간 격차는 방향성 이득과 별도의 분리된 오라클 어드밴티지를 모두 조정한다. 부호 균형 가지치기는 효율성을 향상시킨다. 오라클과 각 부호에서 가장 강한 롤아웃만 유지함으로써, OraRL은 SFT 스텝 시간의 2.2배만을 요구하며, 이는 CoT를 사용하는 GRPO가 요구하는 4.9배의 절반 미만이다. OraRL은 모델 크기와 데이터에 따라 확장되며, 0.8B에서 9B까지의 백본과 최대 100k 프롬프트에서의 GRPO를 능가한다. 사고 사슬 없이 Video-ORA-9B는 4,780ms 대신 130ms에 디코딩한다. 각각의 기존 최고 모델과 비교했을 때, 시간적 mIoU를 62.5에서 66.0으로, 추적 AO를 73.0에서 78.2로, 분할 성능을 64.3에서 70.4로, 그리고 세 벤치마크의 공간 지능 매크로 평균을 51.0에서 56.1로 향상시킨다. VSI-Bench에서는 GPT-5의 55.0과 Gemini-3-Pro의 55.1에 비해 73.1을 기록한다.

범용 멀티모달 임베딩은 현대 AI 시스템의 핵심 구성 요소로 자리 잡고 있으며, 이질적인 콘텐츠를 공유 공간에 표현하여 검색, 추천, 분류, 에이전트 시스템 등 다양한 애플리케이션을 지원한다. 본 보고서에서는 텍스트, 이미지, 비디오, 시각적 문서, 그리고 임의로 혼합된 멀티모달 입력을 지원하면서 유연한 출력 차원을 제공하는 범용 멀티모달 임베딩 모델 제품군인 WeMM-Embedding을 제시한다. 이 제품군은 2B, 4B, 9B 규모의 변형 모델로 구성되며, 대규모 멀티모달 정렬 단계와 그 후의 정제 단계라는 두 단계로 훈련된다. 정제 단계에서는 선별된 데이터, 세밀한 관련성 지도, 그리고 교차 규모 지식 전이를 활용한다. 광범위한 평가를 통해 WeMM-Embedding은 여러 공개 벤치마크에서 최고 수준의 성능을 달성한다. 특히 2B 변형 모델은 MMEB-v2에서 기존 최고 성능의 8B 오픈소스 기준 모델을 이미 능가하며, 9B 변형 모델은 종합 점수 80.6으로 새로운 최첨단 성능을 달성한다. WeMM-Embedding은 또한 WeChat 애플리케이션 전반에서 강력한 실용 성능을 입증하며, 26개 과제로 구성된 사내 벤치마크에서 상당한 성능 향상을 보이고 14개의 온라인 A/B 테스트에서 일관된 개선을 보여준다. 이 모델은 WeChat 채널, 공식 계정, 모멘트, 전자상거래 서비스를 포함한 추천 및 검색 애플리케이션에 대규모로 배포되었다. 향후 연구를 지원하기 위해 모델 가중치와 코드를 https://github.com/Tencent/WeMM-Embedding에 공개하였다.

LLM 에이전트는 장기 지평(long-horizon) 작업에서 여전히 신뢰성이 부족하다. 이러한 작업에서는 작은 국부적 실패가 확장된 상호작용 과정에서 누적되어 전체 작업 실패로 이어질 수 있다. 외부 하네스(harness)가 견고성을 크게 개선할 수 있지만, 하네스 설계는 프롬프트, 도구 구성, 제어 로직의 광범위한 공간을 탐색해야 하는 수작업 기반의 고비용 프로세스로 남아 있다. 본 논문에서는 하네스 개선을 오프라인 학습 문제로 정식화하고 미니배치의 실패 신호를 활용하여 하네스를 반복적으로 갱신하는 자동 하네스 최적화 프레임워크인 AutoSaddler를 제안한다. AutoSaddler는 실패 궤적 진단, 하네스를 코드로 취급하는 구조화된 패치 생성, 검증 기반 갱신 선택을 결합한다. GAIA2, SWE-Bench Pro, Terminal-Bench 2.0 실험에서 AutoSaddler는 해당 기본 하네스 대비 에이전트 성능을 각각 9.0, 9.6, 10.0퍼센트 포인트 향상시켰다. 절제 연구는 효과적인 하네스 최적화가 세 가지 요소, 즉 얕은 반성보다는 심층 디버깅, 제약 없는 편집보다는 목표 지향적 수정, 궤적 특화 복구보다는 일반화 인지 선택으로부터 이점을 얻는다는 것을 시사한다. 이러한 결과는 자동 하네스 최적화가 더 우수하고 신뢰할 수 있는 에이전트 시스템으로 가는 유망한 경로임을 보여준다.

강화 학습은 확산 모델을 인간의 선호와 작업별 목표에 정렬할 수 있지만, 종점 보상은 중간 단계의 노이즈 제거 예측이 어떻게 변화해야 하는지를 지정하지 않는다. 본 논문에서는 DiffusionOPSD를 온-정책 자기 증류 프레임워크로 소개한다. 이 프레임워크는 이미지 수준의 보상 안내를 샘플링된 쿼리에서 깨끗한 출력 예측을 위한 명시적 목표값으로 변환한다. 각 외부 반복에서 고정된 행동 정책이 궤적을 생성하고 쿼리 상태와 앵커를 제공한다. 보상 그래디언트는 각 앵커 주위에 유계의 양성 및 음성 목표값을 구성한다. 학습 가능한 정책은 지수 이동 평균 업데이트가 행동 정책을 갱신하기 전에 유한 피팅을 통해 이러한 목표값을 분리된 지도 학습으로 피팅한다. 이러한 설정을 통해 목표값 구성과 유한 실현을 별도로 측정할 수 있다. 동일 쿼리 통제 실험은 더 큰 목표값 구성 이득이 단일 피팅 업데이트 후 더 큰 실현 이득으로 반드시 이어지지 않음을 보여준다. SD 3.5-M과 단계 증류된 Z-Image-Turbo 전반에 걸쳐, 본 접근법은 두 백본과 열 개의 평가자에 걸친 20개의 보상 일치 설정 중 19개에서 최고의 최종 홀드아웃 점수를 달성했다. 가장 강력한 경쟁 방법보다 최대 44.0% 더 우수했으며, DiffusionNFT 대비 훈련 GPU 시간을 SD 3.5-M에서 40%, Z-Image-Turbo에서 63% 절감했다. 이러한 결과는 온-정책 자기 증류가 이미지 수준의 보상 안내를 명시적이고 지속적으로 갱신되는 중간 지도 학습으로 변환함으로써 확산 모델 사후 훈련에 대한 효율적이고 분석 가능한 접근법임을 뒷받침하며, 더 효율적이고 진단 가능한 정렬을 위한 경로를 연다.

프롬프트 주입은 AI 에이전트에 대한 1위 위협으로 꼽힌다. 에이전트가 웹사이트, 파일 또는 이메일에서 외부 데이터에 접근할 때, 공격자는 데이터에 "이전의 모든 지침을 무시하고 <공격자의 작업>을 수행하라"는 프롬프트를 주입할 수 있다. 에이전트의 임의 조작을 방지하기 위해 방어자들은 안전한 LLM을 훈련하려 하지만, 이러한 모델들은 적응형 프롬프트 주입에 대해 여전히 거의 100%에 달하는 공격 성공률(ASR)을 보인다. 우리는 이는 기존의 방어적 미세 조정 기법이 (DPO나 GRPO에서) 시퀀스 수준의 피드백 신호에 의존하기 때문임을 지적한다. 전체 출력을 동일하게 취급하면 모델이 어떤 출력 토큰이 안전하지 않은지 정확히 학습하는 것을 방해한다. 본 논문에서는 방어적 미세 조정을 안내하는 토큰 수준의 피드백을 제공하는 Secure On-Policy Distillation(SecOPD)을 제안한다. LLM은 주입된 샘플을 받아 롤아웃을 생성하며, 해당 롤아웃의 토큰들은 대응하는 정상 입력이 주어졌을 때 초기화 모델에 의해 점수가 매겨진다. 더 세분화된 훈련 신호를 통해, 우리가 방어한 Qwen3.6-27B는 최신 기술(SoTA)인 PISmith 적응형 프롬프트 주입에 대해 9.0%의 ASR을 달성하며, 이는 이전 SoTA인 Meta-SecAlign의 94.0%와 대조된다. 획득한 보안은 훈련에서 전혀 보지 못한 도메인에도 일반화된다. 에이전트 도구 호출에서 SecOPD는 4.7%의 ASR을 달성하는 반면, Meta-SecAlign은 5.5%의 ASR을 보인다. 코드와 모델은 https://github.com/pppyb/SecOPD 및 https://huggingface.co/pybbb/Qwen3.6-27B-SecOPD에서 확인할 수 있다.

대규모 언어 모델(LLM)의 코딩 능력이 지속적으로 발전함에 따라, 사이버보안 분야에서의 잠재력은 점점 더 많은 연구 관심을 받고 있으며, 폐쇄 소스 LLM(예: Mythos)은 고급 사이버보안 기능을 제공하고 있다. 그러나 기존의 오픈소스 시도는 여전히 제한적이다. 즉, 최첨단 오픈 가중치 모델은 재현 가능한 사이버보안 학습 솔루션을 제공하지 않으며, 오픈소스 학습 솔루션은 개별 작업에만 초점을 맞추어 확장 가능한 에이전트 데이터가 부족하고, 에이전트 롤아웃을 확장하려면 강력한 도메인 사전 지식이 필요하다. 본 연구에서는 개념 증명(PoC) 생성, 취약점 패치, 사이버보안 질의응답(CyberQA)을 아우르는 데이터 구축, 궤적 합성, 모델 학습을 연결하는 통합 오픈소스 프레임워크인 CyberFactory를 소개한다. CyberFactory는 실제 환경에서 발견된 CVE를 포함한 공개 취약점 산출물을 실행 가능하고 검증 가능한 작업 인스턴스로 변환한다. 또한 재사용 가능한 취약점 분석 스킬을 활용하여 교사 모델이 소스 코드 검사, 도메인 사전 지식을 활용한 문제 해결, 증거 기반 검증을 수행하도록 안내한다. 그 결과 생성된 지도 신호는 에이전트적이다. 모델은 도구 및 대상 환경과 상호작용하고 실행 피드백에 따라 솔루션을 수정한다. 이러한 궤적을 사용하여, 우리는 Aegis를 학습시키고 공개한다. Aegis는 그리스 신화에서 제우스와 아테나의 보호 방패로, 이 이름은 모델의 방어적이고 보안 지향적인 목적을 반영한다. 이 모델은 추론 시점에 스킬을 요구하지 않고 스킬 기반 절차를 내재화한다. CyberGym에서 Aegis는 1시간 이내에 52.4%의 Pass@1을 달성하여 Qwen 3.5 기본 모델 대비 +22.8포인트 향상되었으며, 동일한 스캐폴드에서 평가된 범용 백본 모델들을 능가한다.

재귀적 자기 개선(RSI)은 장기 지평 작업에서 여전히 어려운 과제로 남아 있다. 이러한 작업에서는 누적되는 기록이 작업 상태를 모호하게 만들고 기술 호출을 잘못 정렬하기 때문이다. 우리는 장기 지평 에이전트 하네스를 위한 재귀적 경험-작업 기억(Experiential-Working Memory) 아키텍처인 Recuris를 제안한다. 이 아키텍처에서 작업 기억(Working Memory)은 작업 진행 상황을 추적하고 경험 기억(Experiential Memory)에서 기술 선택을 안내하여, 기술 사용을 전체 기록이 아닌 현재 요구에 근거하게 한다. 이러한 결합은 또한 실행을 특정 기억 구성 요소에 실패를 국소화하는 구조화된 증거로 전환한다. 작업 전반에 걸쳐 고정된 메타 에이전트는 그 증거를 기술 기억(Skill Memory)에 대한 국소화된 검증 게이트 방식 업데이트로 전환하여 실행을 재구성하고 새로운 증거를 산출하며, 제한된 재귀적 기억 진화 루프를 형성한다. 네 개의 장기 지평 벤치마크와 열 개의 모델에 걸쳐, Recuris는 완료된 37개의 모델-벤치마크 쌍 중 35개에서 작업 성공률을 향상시켜 프런티어 모델을 SOTA 수준의 작업 성공률로 끌어올린다. tau-bench에서는 GPT-5.6 Sol에 +17.8포인트, Claude Opus 5에 +15.6포인트를 더해 Opus 5를 87.9%로 끌어올렸으며, SkillFlow에서는 Qwen3.6-27B/35B에 각각 +16.6/+13.5포인트를 더했다. 이 이점은 상호작용 지평이 길어질수록 커져 가장 긴 작업에서는 +32.2포인트에 이르며, 일반적인 장기 지평 실패는 최대 80% 감소한다. 이러한 결과는 재귀적으로 진화하는 기억을 RSI를 위한 확장 가능한 기반으로 자리매김하게 하며, 에이전트가 축적된 경험을 지속적으로 점점 더 효과적인 장기 지평 행동으로 전환할 수 있게 한다. 코드: https://github.com/Gen-Verse/Recuris

그룹 기반 강화 학습 방법(예: GRPO)은 각 프롬프트에 대해 여러 응답을 샘플링함으로써 대규모 언어 모델의 비평자(critic) 훈련을 피한다. 신뢰할 수 있는 비평자는 대신 단일 응답에서 토큰 수준의 이점(advantage)을 추정할 수 있지만, 표준 비평자 기반 훈련 방법은 종종 불안정하다. 우리는 이러한 불안정성을 연구하고, DPPO, 보상 범위로 한정된 가치 예측, 몬테카를로 가치 목표, 비정규화 정책 이점, 길이 적응형 일반화 이점 추정을 결합한 **모범 사례 비평자 최적화(BPCO)**를 개발한다. 비평자는 훈련 중에만 사용되므로, BPCO는 정책에는 숨겨진 참조 답변이나 채점 루브릭과 같은 보상 정의 정보를 비평자에 조건부로 제공할 수 있다. 통제된 실험을 통해 각 설계 선택의 효과를 분리하여 검증한다. 1.5B 파라미터부터 30B-A3B 전문가 혼합 모델에 이르는 다양한 수학적 추론 과제에서 BPCO는 강력한 비평자 기반 기준선을 일관되게 개선하며, 프롬프트당 하나의 응답을 샘플링하면서도 그룹 기반 기준선과 동등하거나 더 나은 성능을 보인다. 동일한 방법은 루브릭 기반 보상 학습에서도 성능을 향상시킨다. 이러한 결과는 신중하게 설계된 비평자가 그룹 상대 이점 추정의 신뢰할 수 있는 대안을 제공함을 보여준다. 코드는 https://github.com/QPHutu/golden_critic에서 확인할 수 있다.

검증 가능한 보상을 사용한 강화 학습(RLVR)과 온-정책 증류(OPD)는 대규모 언어 모델의 사후 훈련을 위해 널리 채택된 두 가지 패러다임이 되었다. 그러나 RLVR은 희소한 과제 수준 피드백으로 인해 어려움을 겪는 반면, OPD는 조밀한 토큰 수준 안내를 제공하지만 궤적 정확성을 무시하여 성능이 교사 모델 수준으로 제한된다. 이 둘을 결합하는 것은 유망한 방향이다. OPD는 조밀한 감독 신호를 제공하고 RLVR은 과제 수준의 정확성을 제공하기 때문이다. 그럼에도 불구하고 기존의 통합 방식은 종종 가중 결합이나 휴리스틱 전환에 의존하여 추가 하이퍼파라미터와 절충을 도입한다. 우리는 추가 하이퍼파라미터 없이 OPD와 RLVR을 매끄럽게 결합하는 간단하면서도 효과적인 방법인 검증 가능한 보상을 사용한 온-정책 증류(OPDVR)를 제안한다. 우리는 먼저 궤적 정확성에 기반하여 샘플링된 토큰 OPD의 암묵적 보상을 재구성한 다음, ReLU 게이팅 메커니즘을 적용하여 올바른 궤적은 음이 아닌 보상을 받고 잘못된 궤적은 양이 아닌 보상을 받도록 한다. 이를 통해 교사의 분포적 안내를 유지하면서 증류 신호를 과제 성공에 정렬한다. 더 나아가, 우리의 수정은 샘플링된 토큰 OPD를 적절한 RLVR 방법으로 변환하여 GRPO와 같은 모든 정책 경사 알고리즘과 쉽게 결합할 수 있게 한다. 여섯 가지 추론 벤치마크에 대한 실험은 OPDVR이 표준 OPD보다 일관되게 우수한 성능을 보임을 보여준다. 우리의 코드는 https://github.com/LeapLabTHU/OPDVR에서 확인할 수 있다.

스마트 안경은 단순한 촬영 및 표시 액세서리에서 인간의 지각, 지속적 맥락, 디지털 및 물리적 행동을 연결하는 1인칭 지능 플랫폼으로 진화하고 있다. 이들의 신체 부착형 시점은 착용자의 시각, 청각, 운동, 손-객체 상호작용과 정렬되지만, 제한된 에너지, 열, 프라이버시, 피드백 제약 하에서 작동해야 한다. 증강 현실, 자아중심 시각, 멀티모달 모델, 인간-컴퓨터 상호작용, 체화 지능 분야에서 급속한 진전이 있었음에도 불구하고, 문헌은 장치, 작업, 벤치마크 전반에 걸쳐 분절된 상태로 남아 있다. 핵심 과제는 모델이 단독으로 인식, 응답, 기억, 행동할 수 있는지 여부가 아니라, 완전한 시스템이 신뢰할 수 있고 시간적으로 유효하며 교정 가능하고 관리 가능한 지각-상태-상호작용-행동 루프를 지속적으로 유지할 수 있는지 여부이다. 본 조사는 **이러한 통합 프레임워크를 통해 스마트 안경을 체계적으로 연구한 최초의 문헌**이다. 우리는 1인칭 데이터 흐름과 제약된 작업 효용성을 정형화하고, 8가지 검증 가능한 하드웨어 역량 축을 따라 장치를 특성화하며, 7가지 상호의존적 기반 역량을 중심으로 문헌을 체계화하고, 캡처, 반응형 지각, 맥락적 지원, 지속 상태, 관리된 행동, 체화적 결합을 포괄하는 L0-L5 프레임워크를 도입한다. 9가지 응용 시나리오에 걸쳐 작업을 데이터셋, 시스템, 제품, 이해관계자, 실패 결과, 증거 격차와 연결한다. 또한 9차원 배포 프레임워크, 주장 조건 기반 평가 프로토콜, 통제된 측정에서 종단적 현장 검증 및 감사에 이르는 증거 사다리를 제시한다. 이러한 요소들은 스마트 안경을 보다 비교 가능하고, 배포 가능하며, 재현 가능하게 평가할 수 있게 하는 동시에 신뢰할 수 있는 1인칭 지능을 향한 로드맵을 제시한다.

자기 개선 LLM 에이전트는 답변을 개선할 뿐, 그 답변을 만들어내는 과정 자체는 개선하지 않는다. 메타 수준을 추가하는 시스템은 그 수준을 고정된 채로 두며, 스스로를 편집하는 시스템은 안정성을 유지하기 위해 자신의 편집 메커니즘 일부를 반드시 손대지 않은 채로 남겨두어야 하므로, 실현 가능한 메타 깊이는 대략 2로 제한된다. 우리는 메타 연산을 고정하고 대신 입력에 대해 재귀하는 Meta^n을 제시한다. 그 연산인 Ω는 자신의 산출물에 반복적으로 적용되며, 아래의 솔버 스택의 트레이스를 이를 생성한 코드와 함께 읽은 후, 다음 계층을 전략적 전처리 과정과 호출 가능한 보조 함수 라이브러리로 작성한다. Ω는 결코 변하지 않으므로 시스템을 불안정하게 만들 수 없고, 입력이 엄격히 증가하므로 각 계층은 이전 계층보다 더 높은 관점에서 추론한다. 깊이는 사전에 고정되지 않고 수렴에 따라 결정되며, 진화적 아카이브가 계층 체인을 탐색한다. 두 백본에 걸쳐 Meta^n은 여덟 가지 벤치마크 계열 모두에서 기존 자기 개선 에이전트를 능가한다. 가장 두드러진 사례는 스킬 암기를 저지하도록 설계된 ARC-AGI-2로, 여기서 Meta^n만이 0보다 높은 점수를 기록했다. 절제 실험에 따르면 재귀로 인한 이득의 대부분은 각 계층이 다음 계층에 전달하는 조건화에서 비롯되며, 어떤 프롬프트도 이를 규정하지 않았지만 깊이가 깊어질수록 계층별로 뚜렷한 역할이 나타난다. 코드는 https://github.com/minnesotanlp/meta-n에서 확인할 수 있다.

비디오 게임은 다양한 환경, 복잡한 상호작용, 풍부한 실제(in-the-wild) 게임플레이 비디오를 제공하여 비디오 세계 모델의 훈련 데이터를 확장 가능한 방식으로 공급한다. 그러나 원시 게임플레이 푸티지는 게임 세계와 화면 공간 인터페이스를 얽히게 하여 게임 특유의 편향과 무관한 동역학을 도입함으로써 세계 모델 훈련을 방해한다. 이 문제를 해결하기 위해 우리는 게임플레이 UI 그라운딩 및 제거를 정형화하는 풀스택 프레임워크인 GameUI-Taxonomy와 G2WEngine을 소개한다. G2WEngine은 실제 게임플레이 비디오에서 재사용 가능한 UI 자산을 자동으로 추출하고, 깨끗한 푸티지 위에 시간적으로 일관된 UI 오버레이를 합성한다. 이 엔진을 활용하여 우리는 정밀한 재구성 대상이 포함된 96K개의 합성 쌍(paired) 비디오와 실제 평가를 위한 303개 게임에서 수집한 1,079개의 실제(in-the-wild) 클립으로 구성된 Game2World를 구축한다. 이 데이터셋의 자산 라이브러리에는 1,010개의 대표 게임플레이 프레임에서 수집된 21개 분류 범주의 검증된 5,132개 UI 요소가 포함되어 있다. Game2World에 기반하여 우리는 다중 모달 의미 이해와 비디오 편집 기능을 결합하는 마스크 없는 게임플레이 UI 제거 모델인 GameCleaner를 제안한다. GameCleaner는 마스크 기반 방법과 달리 기본 장면 콘텐츠와 시간적 동역학을 보존하면서 다양한 HUD 요소를 직접 식별하고 제거한다. 통제된 예비 실험에서 UI 없는 게임플레이로 훈련된 세계 모델은 UI가 덮인 데이터로 훈련된 모델보다 전체 VideoReward를 6.83% 향상시켰다. UI 제거 평가에서 GameCleaner는 합성 비디오에서 평균 AAR 95.36을 달성하여 가장 강력한 시간적 마스크 기준선보다 57.3% 우수했으며, 99.8의 배경 보존과 함께 실제(in-the-wild) 환경 최고 AAR 80.05를 얻었다. 이러한 결과는 인터넷 게임플레이 비디오를 고품질 세계 모델 훈련 데이터로 변환하는 확장 가능한 잠재력을 입증한다. 코드, 데이터셋, 모델은 https://github.com/Dongping-Chen/Game2World에서 제공될 예정이다.

우리는 다중 모달 학습을 위한 대규모 개방형 비디오 데이터셋인 LAION-BVD를 제시한다. 이 데이터셋은 CommonCrawl에서 수집한 13억 개의 플랫폼별 비디오 URL을 포함하며, 이 중에서 총 1,000만 시간 분량의 8천만 개 비디오를 다운로드했다. 이 데이터셋은 비디오, 오디오, 이미지 모달리티에 걸친 다중 모달 사전 학습을 위해 설계되었다. 콘텐츠 인식 장면 검출을 사용하여 클립을 추출하고, 해당 클립에 대해 비디오 및 오디오 캡션을 합성 생성한다. 이 데이터로 학습된 모델은 표준 비디오-텍스트 및 오디오-텍스트 벤치마크에서 경쟁력 있는 성능을 달성하며, 학습 규모나 모델 규모가 증가함에 따라 일관된 성능 향상을 보인다. 또한, 장면 전환 프레임을 추출하여 이미지-텍스트 데이터의 대체 소스로서 비디오 프레임을 탐구한다. 이러한 프레임은 표준 웹 이미지 말뭉치와는 구별되는 시각적 분포를 나타내며, 이 데이터셋으로 학습된 모델은 강력한 이미지-텍스트 검색 성능을 달성한다. 우리는 LAION-BVD를 연구 커뮤니티에 공개한다. 이는 전례 없는 규모로 다중 모달 비디오에 대한 개방적 접근을 크게 확장한다.

기계 번역은 모든 소스 토큰을 충실히 표현해야 하기 때문에 마스크 확산 언어 모델(dLLM)에게 중요한 시험대가 된다. 또한 고정 캔버스 디코딩은 노이즈 제거 전에 목표 길이를 선택해야 한다. 기존의 마스크 확산 디코딩 연구는 주로 토큰 언마스킹 순서를 다루었으며, 길이 결정은 커버리지와 중복성에 직접적인 영향을 미침에도 불구하고 충분히 탐구되지 않았다. 본 연구에서는 Entropy-Valley(EV)를 제안한다. 이는 학습이 필요 없는 길이 선택기로서, 전체 마스크 상태의 순방향 패스들에서 얻은 평균 예측 엔트로피로 후보 목표 캔버스에 점수를 매기고, 백본이 가장 잘 채울 준비가 된 캔버스를 선택한다. 학습 말뭉치 길이 통계를 사용하는 기준선과 비교했을 때, EV는 EntoZh, ZhtoEn, EntoDe에서 참조 목표 길이로 얻은 COMET-22 향상의 64.9%, 65.3%, 33.0%를 회복한다. 진단 결과는 노이즈 제거에 적합한 길이가 참조 길이와 일치할 필요가 없음을 보여준다. 세 명의 번역 전문가에 의한 평가는 En↔Zh의 적절성 향상을 뒷받침하며, ZhtoEn에서 더 강한 증거를 제공한다. 동일한 미세 조정 데이터로 훈련된 LLaMA-3-8B 자기회귀(AR) 모델과 비교했을 때, EV 시스템은 EntoZh에서 동률을, ZhtoEn에서 우위를 보인다. 오라클 길이 진단은 또한 이 마스크 확산 기계 번역 설정에서 어떤 토큰을 먼저 드러낼지 결정하는 것보다 목표 길이가 제공되는 방식이 더 중요함을 보여준다.

결과 감독(outcome-supervised) 검색 에이전트는 언제 그리고 어떻게 증거를 검색할지 학습하지만, 종단 보상(terminal reward)은 중간 단계의 오류를 국소화하지도 못하고 그러한 오류가 누적되기 전에 진행 중인 궤적을 방향 전환시키지도 못한다. 교정 피드백을 학습된 궤적 내 개입(in-trajectory intervention)으로 취급하면 두 역할이 결합된다. 즉, 에이전트는 피드백을 언제 요청하고 사용할지 결정해야 하며, 비평자(critic)는 에이전트가 개선됨에 따라 실패 패턴이 변화하는 결과-교란(outcome-confounded) 롤아웃으로부터 유용한 교정을 추론해야 한다. 본 연구에서는 공유 파라미터 모델이 검색 에이전트와 비평자 역할을 번갈아 수행하는 프레임워크인 CAFE(Coupled Agent--Feedback Evolution)를 소개한다. CAFE는 기본 에이전트의 자체 실패를 중심으로 구축된 궤적에서 피드백 조건화 복구(feedback-conditioned recovery)를 초기화한 후, 온라인과 오프라인 최적화를 결합한다. 온라인 강화학습 중에는 비교 피드백 추정치가 프롬프트 수준의 호출-건너뛰기 성공 격차(call--skip success gap)를 활용하여 요청 보상을 형성하고, 피드백 인지 어드밴티지 셰이핑(feedback-aware advantage shaping)이 피드백 전후의 토큰 어드밴티지를 재가중한다. 오프라인에서는 롤아웃 유래 선호 최적화(rollout-derived preference optimization)가 매칭된 성공 및 실패 궤적으로부터 피드백을 학습한다. 일곱 가지 에이전트 검색 벤치마크에서 CAFE는 평가된 RL 기반 검색 에이전트들을 평균적으로 능가하며, 여섯 가지 아웃오브도메인 벤치마크 모두에서 성능 향상을 유지하고 답변 수준의 환각을 감소시킨다. 단측 절제 실험(one-sided ablation)은 에이전트만 개선하거나 비평자만 개선하는 경우 결국 정체되지만, 두 업데이트를 번갈아 수행하면 성능이 지속적으로 향상됨을 보여준다. 이러한 결과는 자기 개선 검색 에이전트가 자신을 안내하는 정책과 공동 진화하는 피드백을 필요로 함을 시사한다.

동시적 다중 에이전트 코딩은 모듈 간 분업, 중복성을 통한 견고성, 그리고 다중 파일 프로젝트의 자연스러운 세분성에서의 병렬 탐색을 약속한다. 실시간 협업 편집 프로토콜은 충돌 없는 복제 데이터 타입(CRDT)을 통해 인간 팀의 이러한 조정 문제를 해결하지만, 그 기반이 되는 LLM은 한 번에 하나의 토큰을 생성하며 기존의 다중 에이전트 코딩 시스템은 이러한 직렬적 한계를 그대로 물려받는다. 즉, 이들은 에이전트를 단계별 핸드오프로 순차 실행하거나 조정 없이 독립적인 샘플을 취합할 뿐이며, 단일 에이전트는 어려운 과제의 절반가량을 한 파일짜리 스텁 구현 후 종료하는 방식으로 포기한다. AgentRoom은 동시적 코딩 에이전트를 위한 실시간 협업 편집 프로토콜이다. 그 런타임 계층은 파일 수준의 점유(claim), 상태(status), 브로드캐스트를 CRDT 병합 공유 파일시스템 상의 MCP 도구로 노출한다. 최첨단 코딩 CLI 모델 5개가 Python DevBench 및 Rust+axum의 교차 언어 검증이 포함된 4개의 백엔드 코딩 과제를 수행했다. CLI 안정성이 입증된 모델의 경우, 2개 에이전트를 사용한 AgentRoom은 Solo보다 과제 포기 횟수가 적고 실행 간 변동성도 낮았다. 계산량을 동일하게 맞춘 조건에서, 하나의 양의 평균 LLM 판정 대비는 AgentRoom이 병렬 병합(parallel-merge)보다 우위에 있음을 보여준다. 다른 대비인 번들 프로브는 전체 AgentRoom이 각 부분 적용 사례보다 우위에 있음을 보여주며, 이는 백분율 분할이 아닌 순서 관계이다. 병렬성이나 CRDT 병합이 아니라 조정(coordination)이 핵심 부담을 담당한다.

LLM 기반 에이전트는 다단계 작업을 수행하지만, 그 행동 구조는 여전히 불투명하다. 길고 구조화되지 않은 트레이스는 배포 시 요구되는 안전 감사와 런타임 모니터링을 어렵게 만든다. 기존 접근법은 트레이스 단위 또는 성공 사례에만 초점을 맞추어, 다음 단계 예측과 실패 예측을 연결하는 실행 간 토폴로지를 놓친다. 이러한 공유 구조를 복원하기 위해, 우리는 전체 트레이스 말뭉치를 단일하고 간결한 유한 상태 기계(FSM)로 압축하며, 이는 달리 예측 불가능한 LLM 에이전트 행동의 구조적 기반으로 작동한다. 12개의 공개 데이터셋에 걸쳐, 해당 FSM은 간결하며(7-43개 상태), 보류된 데이터를 >=0.997의 적합도로 재생하고, 분할 간 거의 동일한 토폴로지를 보이며, 수 밀리초 내에 구축된다. 이러한 기반은 두 가지 예측 목표를 모두 해결한다. 다음 단계 예측의 경우, FSM 상태 컨텍스트는 모든 실제 정답 일치 데이터셋에서 Agent Workflow Memory보다 우수한 성능을 보인다. 실패 예측의 경우, 상태별 행동 특징은 보류된 AUROC 최대 0.94에 도달하며, 온라인 모니터는 부분 트레이스만으로도 실패 실행을 통과 실행보다 높게 순위화하여 완료 전에 조기 중단을 유발한다. 따라서 행동 토폴로지는 LLM보다 배포 환경에 의해 더 크게 형성되는 것으로 보이며, 이는 안전 감사와 런타임 모니터링을 위한 모델 비의존적 구조적 원시 요소를 제공한다.

산업용 추천 시스템은 일반적으로 계단식(cascaded) 검색, 랭킹, 재랭킹 파이프라인을 사용한다. 효율적이기는 하지만, 이러한 파이프라인은 모듈 간 정보와 목표를 단편화하고, 경직된 규칙에 의존하며, 실시간 의도에 대한 인식이 제한적이어서 탐색, 비교, 구매 사이의 세션 수준 전환을 충분히 처리하지 못한다. 본 논문은 기존 파이프라인을 대체하지 않으면서 그 위에 인식 기반(perception-aware), 조율 가능(orchestrable), 감사 가능(auditable)한 정책 계층을 추가하는 자율 최적화 제어 아키텍처인 DREAM(Developing Recommender Engine with Agentic Methods)을 제시한다. DREAM은 두 가지 핵심 구성 요소를 갖는다. 첫째, 3계층 의도 엔진(Intent Engine)은 기기 내 신호를 구조화된 L0/L1/L2 의도 표현으로 융합하며, 엣지-클라우드 트리거 체인을 통해 보고량을 약 8.7%로 감소시킨다. 둘째, 메타 엔진(Meta Engine)은 메타모델(MetaModel)을 사용하여 의도 요약, 전략 메모리(Strategy Memory)에 기반한 전략 계획, 파라미터 변환으로 이어지는 계층적 M1-M2-M3 추론을 수행한다. 이후 통합 출력 채널을 통해 안전 가드레일을 적용한 결과 파라미터를 전달한다. 이중 보상 루프(Reward Dual Loop)는 전략 공간 탐색을 위한 오프라인 시뮬레이션과 결과 보정을 위한 온라인 피드백을 결합하여 생성, 실행, 평가, 경험 축적의 순환을 형성함으로써 두 구성 요소를 지속적으로 최적화한다. 타오바오 홈페이지 피드에서의 대규모 A/B 테스트 결과, 재랭킹 제어만으로도 IPV가 2.06%, 핵심 IPV가 2.39%, GMV가 0.88% 개선되었다. 정밀 랭킹까지 제어 범위를 확장하면 이러한 개선은 각각 2.71%, 3.06%, 1.31%로 증가하며, PV는 일관되게 1% 이상 개선된다. 이러한 성과는 파이프라인 모델의 교체나 서빙 안정성의 저하 없이 달성되며, 에이전트형 메타 제어가 산업용 추천의 실행 가능한 패러다임임을 뒷받침한다.

대규모 언어 모델(LLM) 에이전트는 다중 역할 및 다중 단계 워크플로를 통해 복잡한 작업을 조정한다. 업스트림 상태는 요약, 계획, 티켓, 메모리, 인계 노트와 같은 중간 언어 산출물로 반복적으로 변환되며, 다운스트림 구성 요소는 이로부터 작동한다. 행동을 제약하는 상태의 경우 주제 유지(topical retention)는 충분하지 않다. 즉, 산출물이 해결되지 않은 조건을 언급하면서도, 그것을 실행 전에 반드시 해결해야 하는 요구사항에서 단지 다음 행동에 정보를 제공할 뿐인 정보로 변경할 수 있기 때문이다. 본 연구는 이러한 행동 결속적 역할을 운영 상태 보존(operational state preservation)으로 연구한다. 안전 차단기(safety blocker)는 각 소스 상태가 명시적 전제 조건, 권한, 대체 수단(fallback), 실행 결과를 갖기 때문에 통제된 사례를 제공한다. 본 연구는 정확한 업스트림 식별을 조건으로 하고, 인계 변환을 달리하며, 결과 산출물에 제한된 실행기를 평가한다. 1,296개의 통제된 합성 에피소드에서 직접 인계 통제군은 모든 차단기를 보존한 반면, 압축, 계획 동화, 수렴, 소유권 이연, 선례 대체는 결속 상태를 반복적으로 주의 사항이나 비구속적 고려 사항으로 전환시켰다. 일반적인 인계 압축은 100.0%의 비활성화와 54.2%의 금지된 행동을 초래했다. 네 가지 상태 필드를 모두 복원하면 보존율이 100.0%로 상승하고 금지된 행동이 0.0%로 감소했다. 고정 산출물 중재는 보존과 억제(containment)를 추가로 분리한다. 즉, 다운스트림 검증은 금지된 행동을 제거하지만 산출물 비활성화는 95.3%로 유지된다. 이러한 결과는 정보 추출과 행동 사이의 상태 전송 실패를 식별한다. 인계 변환은 상태 내용을 유지하면서도 다운스트림 행동에 대한 제약을 약화시킬 수 있다. 의미적 가용성은 운영적 보존을 보장하지 않는다.

형태학적 변환은 형태(shape) 및 마스크 처리를 위한 오랜 기간 사용된 도구이지만, Python 생태계에서 사실상 표준 참조 구현인 scipy.ndimage는 CPU 전용이며 단일 배열만 지원하므로, 값비싼 장치-호스트(device-to-host) 왕복 없이는 GPU 훈련 루프 내에서 사용할 수 없다. PyTorch 기반 GPU 비전 라이브러리들은 이러한 연산자 중 극히 일부만을 다루며, 대개 2차원 공간과 평평한 구조 요소로 제한된다. 우리는 이러한 격차를 해소하는 경량 PyTorch 확장 라이브러리 TorchMorph를 제시한다. TorchMorph는 이진 형태학, 그레이스케일 형태학, 정확 및 근사 거리 변환, 엔트로피 정규화 최적 수송을 포함한 22개의 공개 연산자를 제공하며, 모두 최대 8개의 공간 차원을 가진 (B, C, Spatial...) CUDA 텐서에 직접 연산하는 융합(fused) CUDA 커널로 구현된다. API는 경계 모드, 구조 요소 원점, 사전 할당 출력을 포함하여 scipy.ndimage의 인자 하나하나를 의도적으로 그대로 따르므로, import 변경만으로 기존 파이프라인을 이식할 수 있다. 우리는 각 연산자 계열을 뒷받침하는 계층적 아키텍처와 커널 설계를 설명한다. 단일 스레드 CPU 참조 구현과 비교했을 때, 배치 실행은 그레이스케일 형태학에서 scipy.ndimage 대비 최대 1.1 × 10^3배의 처리량, 정확한 유클리드 거리 변환에서 최대 350배의 처리량에 도달하며, Sinkhorn 솔버는 POT보다 최대 42배 빠르게 실행된다. 이진 및 Chamfer 연산자는 SciPy 대응 연산자와 정확히 일치하고, 모든 실수(float) 값 연산자는 CPU 참조 구현과 최대 1.8 × 10^-6의 절대 오차 이내로 일치한다. TorchMorph는 MIT 라이선스로 https://intcomp.github.io/tm 에서 공개된다.

절차적 비디오-언어 모델은 행동 인식, 미래 예측, 절차 예측을 포함한 이질적 작업들을 동일한 시각적 증거로부터 해결해야 한다. 밀집 트랜스포머 디코더는 작업 간에 동일한 피드포워드 네트워크를 공유하므로 작업별 동작이 서로 얽히고 제어된 능력 확장이 어려워질 수 있다. 희소 전문가 혼합(MoE) 디코더는 조건부 계산을 제공하지만, 토큰 수준의 학습된 라우팅은 작업 수준의 절차적 목표와 자연스럽게 정렬되지 않는다. 본 논문에서는 다중 모드 백본을 공유하면서 대규모 언어 모델의 피드포워드 네트워크를 작업별 전문가로 변환하는 디코더 아키텍처인 MoTE(Mixture of Task Experts)를 제안한다. 각 예제는 샘플 수준의 단일 작업 경로를 따르므로, 활성 작업-전문가 계산은 저장된 작업 전문가 수와 무관하게 유지된다. 우리는 이 설계를 VideoLLM-MoTE로 구현하고 명시적 작업 경로를 사용하여 다섯 개의 COIN 벤치마크에서 평가한다. 다섯 전문가 모델은 샘플당 약 20억 개의 LLM 파라미터를 활성화하며, 최근 VideoLLM 기준 모델들보다 더 높은 평균 top-1 정확도를 달성한다. 동일한 전문가 토폴로지 하에서, 제안 모델은 모든 전문가를 활성화하는 밀집 방식 및 학습된 희소 라우팅 대조 방식보다 우수한 성능을 보인다. 이러한 결과는 작업 구조적 라우팅이 다중 작업 비디오-언어 학습을 위한 해석 가능하고 계산 효율적인 디코더 대안을 제공함을 보여준다.

우리는 Station에서의 자율적 수학 발견을 연구한다. Station은 서로 다른 모델 계열의 AI 에이전트들이 중앙 조정자나 스크립트화된 파이프라인 없이 공동 연구 목표를 추구하는 개방형 세계 다중 에이전트 환경이다. 에이전트들은 자신의 연구 방향을 스스로 선택하고, 실험을 수행하며, 협력하고, 공유된 과학 문헌을 구축한다. AlphaEvolve 카탈로그의 12개 구성 문제와 두 가지 추가 사례 연구에 걸쳐, Station은 다섯 가지 문제에서 기존 문헌에 비해 새로운 결과를 얻었다: 유한체 Kakeya 집합의 새로운 무한족, 11차원에서의 새로운 정확한 604-점 kissing 구성, 이산화된 Kakeya 바늘 문제와 부호 불확정성 문제에 대한 새로운 기록, 그리고 Erdős의 최소 중첩 문제에 대한 실질적으로 개선된 하한. 에이전트들은 또한 Book Ramsey 수에 대한 새로운 무한족을 발견했다. 중요하게도, 에이전트들은 수치적 구성뿐만 아니라 그러한 구성이 작동하는 방식을 설명하는 정리와 분석도 생성하여, 결과를 더 해석 가능하게 만들고 수학자들이 이를 바탕으로 확장하기 쉽게 했다. 우리는 모든 원시 에이전트 대화, 증명, 및 검증 코드를 공개하여 이러한 발견이 어떻게 도출되었는지에 대한 투명한 기록을 제공한다.

대규모 언어 모델(LLM)은 코드 생성에 뛰어나지만, 경쟁적 프로그래밍에서는 지속적인 실패 모드가 드러난다. 기존의 다중 에이전트 파이프라인은 작업을 일반적인 플래너, 코더, 디버거 역할로 분배하고 알고리즘 기법 선택을 백본에만 맡긴다. 우리는 MARS(전문 LLM 다중 에이전트 릴레이, Multi-Agent Relay of Specialized LLMs)를 제시한다. 이는 각 에이전트가 동적 계획법, 그래프, 문자열, 기하 등과 같은 주제 전문가인 프롬프트 전용 프레임워크로, 알고리즘 이론 말뭉치에 대한 검색 증강 생성(retrieval-augmented generation)으로 뒷받침된다. 문제가 주어지면 검색이 관련 전문가들로 구성된 소규모 팀을 선택한다. 스타터가 초기 C++17 솔루션을 작성하고, 이후 각 턴에서는 샌드박스에서 공개 예제에 대해 후보를 실행하여 활성 전문가가 초안을 유지, 수리, 또는 인계하도록 한 뒤, 구조화된 패킷을 다음 전문가에게 전달한다. 마지막에는 단일 인프라 수정(infrastructure-fixer) 패스가 상용구(boilerplate) 코드를 정규화한다. Gemma 4를 사용한 CodeContests 테스트 분할에서 MARS는 작업당 측정된 2.3개의 파이프라인 단계에서 0.624 ± 0.006의 통과율을 달성한다(직접 프롬프팅 대비 +14.4퍼센트 포인트). 이는 3.3배 낮은 벽시계 시간(wall-clock) 비용과 작업당 토큰 사용량의 훨씬 작은 분산으로 CodeSIM(0.731)과의 격차를 대부분 좁힌다. 소스 코드는 GitHub에서 확인할 수 있다: https://github.com/fckand/mars.

세계 행동 모델(WAM)은 관찰이 어떻게 변화하는지 모델링하여 로봇 제어를 개선하지만, 테스트 시점에 미래 관찰을 생성하는 과정은 상당한 지연 시간을 유발한다. Fast-WAM은 효율성을 위해 이 과정을 제거한다. 그러나 동일 조건으로 구현했을 때, Fast-WAM은 미래 인지(future-aware) 대안들보다 낮은 일반화 성능을 보이며, 특히 로봇 시연 데이터가 부족한 상황과 분포 외(out-of-distribution) 시나리오에서 두드러진다. 이러한 격차를 해소하기 위해, 우리는 **LAWA**를 제안한다. LAWA는 미래 의도의 작동적 표현으로 컴팩트한 잠재 행동을 사용하는 WAM 아키텍처로, 미래 관찰을 생성하지 않고도 효율적인 테스트 시점 미래 상상을 가능하게 한다. 구체적으로, 행동 없는 사전학습(action-free pre-training)으로 강화된 이산 토크나이저가 조작 중심의 코드북 목표값을 생성한다. LAWA는 이러한 목표값에 고정된 연속 잠재 상태를 실행 가능한 행동 청크와 함께 공동으로 노이즈 제거하며, 추론 시 미래 비디오 분기는 생략한다. RoboCasa에서 LAWA는 퓨샷 및 전체 데이터 설정에서 각각 65.6%와 80.8%의 최고 수준(SOTA) 평균 성공률을 달성하여, 동일 조건의 Fast-WAM 기준선 대비 각각 9.6포인트와 4.5포인트 향상된 성능을 보인다. 또한 동일 조건의 Joint-WAM 변형의 성능 수준을 유지하면서도 추론 지연 시간을 42.9% 단축한다. LAWA는 LIBERO-Plus에서 경쟁력 있는 제로샷 강건성을 입증하고 실제 로봇 작업에서도 우수한 성능을 보여준다. 이러한 결과는 미래 상상이 폐기될 필요가 없음을 시사한다. 컴팩트한 잠재 행동을 통해 미래 상상을 유지하는 것은 성능, 일반화, 지연 시간 간의 효과적인 절충을 제공한다. 코드와 모델은 공개될 예정이다.