일간 논문

비전-언어-행동(VLA) 모델은 일반적으로 LLM 중심의 V→L→A 경로를 채택하는데, 이는 시각적 관찰을 대규모 언어 모델의 표현 공간에 투영한 후 로봇 행동으로 디코딩하는 방식이다. 효과적이지만, 이러한 설계는 정책 호출 시마다 상당한 계산 및 메모리 오버헤드를 발생시킨다. 본 연구에서는 기존의 V→L→A 경로를 직접적인 V+L→A 매핑으로 재구성하는 새로운 VLA 패러다임인 TurboVLA를 소개한다. TurboVLA는 대규모 언어 모델을 인식과 행동 사이의 중앙 인터페이스로 사용하는 대신, 시각적 관찰과 언어 명령을 독립적으로 인코딩하고, 경량 양방향 비전-언어 상호작용을 통해 이들 간에 정보를 직접 교환하며, 소형 디코더로 연속적인 행동 청크를 예측한다. 이 간단한 설계는 시각 및 언어 특징으로부터 직접 작업 조건화 표현을 구성하여, VLA 추론의 계산 및 메모리 비용을 크게 줄인다. LIBERO 벤치마크에서 TurboVLA는 0.2B 파라미터, 31.2ms 추론 지연 시간, 그리고 소비자용 RTX 4090에서 0.9GB의 추론 VRAM만으로 평균 97.7%의 성공률을 달성하며, 훨씬 더 큰 VLA 정책들과 동등하거나 더 나은 성능을 보인다. 이러한 결과는 TurboVLA가 주류 LLM 중심 VLA 패러다임에 대한 간단하고 효과적인 대안임을 입증하며, 효율적인 로봇 조작을 위해 비전, 언어, 행동이 어떻게 연결될 수 있는지에 대한 새로운 관점을 제시한다. 코드는 https://github.com/H-EmbodVis/TurboVLA에서 확인할 수 있다.

루브릭 기반 강화 학습은 명시적 기준에 따라 모델 출력을 평가함으로써 언어 모델 훈련을 풍부하게 한다. 그러나 GRPO 방식의 파이프라인에서는 이러한 구조화된 판단이 스칼라 응답 수준 보상으로 축소되어 응답 수준 이점으로 변환되고, 이는 생성된 모든 토큰에 균일하게 전파된다. 이는 서로 다른 기준이 서로 다른 구간, 형식 결정 또는 의미적 선택에 기반을 두고 있더라도 응답 내에서 신호를 할당하기 위한 명시적 메커니즘을 제공하지 않는다. 본 연구는 루브릭 조건부 GRPO를 위한 토큰 수준 신용 가중치 방법인 CoRT를 제안한다. CoRT는 보조 토큰 점수 모델을 훈련하는 대신, 반사실적 재생(counterfactual replay)을 사용하여 동일하게 샘플링된 응답을 원래의 루브릭 조건부 프롬프트와 일치하는 기준 없는 프롬프트 아래에서 다시 점수화한다. 이로 인해 발생하는 토큰별 로그우도 대비는 루브릭 맥락에 대한 의존도를 대리 측정한다. CoRT는 이러한 대비를 경계가 있고 응답 정규화된 가중치로 매핑하고, 이 가중치를 사용하여 부호가 있는 GRPO 이점을 토큰 전체에 재분배하며, 보조 채점기 도입이나 응답 수준 보상 변경 없이 수행한다. 명령어 튜닝 모델과 보상 세분성을 대상으로 한 실험에서 CoRT는 매칭된 응답 수준 GRPO와의 대부분의 비교에서 성능이 향상되었으며, 평균 4.4% 포인트의 개선을 보였다. 이 방법은 별도의 관련성 학습 단계를 피하면서도 학습된 토큰 수준 신용 기준선과 경쟁력을 유지한다. 이러한 결과는 정책 내부의 반사실적 우도 대비가 GRPO의 단순성과 안정성을 유지하면서 응답 내 신호 할당을 위한 효과적인 훈련 신호를 제공함을 시사한다.

시각-언어 모델(VLM)이 물리적 신체를 통해 행동할 수 있는지 평가하는 것은 까다로운 과제이다. 행동의 결과는 VLM의 결정과 모터 제어가 결합된 것이다. 작업이 실패했을 때, VLM이 잘못된 선택을 했는지, 아니면 모터 컨트롤러가 단순히 이를 실행하지 못했는지(예: 균형을 잃고 넘어짐) 알기 어렵다. 본 연구에서는 행동 결정을 저수준 실행과 분리하는 평가 프레임워크인 HumanCLAW를 소개한다. 각 단계마다, 하네스에 고정된 기성 VLM이 원자적 기술 명령을 발행하면, 해당 명령은 중력 및 충돌을 포함한 실제 물리적 결과를 수반하는 1초 미만 단위의 연속적인 전신 동작으로 변환된다. 따라서 신체는 물리적 세계에서 자유롭게 행동할 수 있으면서도, 실행 측의 교란, 균형 및 모터 오류는 배제된다. 측정 가능한 것은 모델의 행동 지능, 즉 매 순간 신체가 다음에 무엇을 실행해야 하는지에 대한 선택이다. 이 프레임워크를 기반으로 HumanCLAW-Bench를 구축했다: 41개의 실내 장면에 걸친 1,218개의 장기적이고 1인칭 시점의 찾기-이동-상호작용 에피소드이다. 최신 VLM 9개를 테스트한 결과, 어떤 모델도 벤치마크를 해결하지 못했으며, 최고 성능 모델조차 성공률 16.8%에 그쳤다. 대상을 인식하는 것은 병목이 아니다. 현재 VLM이 부족한 것은 체화된 자기 인식이다. 즉, 자신의 신체 위치, 목표에 도달했는지 여부, 장애물에 부딪혔는지 여부를 추적하지 못한다.

텍스트 공간 최적화는 모델 가중치 대신 외부 자연어 아티팩트를 편집하여 대규모 언어 모델(LLM)을 적응시키므로, 최적화된 아티팩트는 검사 가능한 상태로 유지되며 모델을 블랙박스로 취급할 수 있다. 그러나 기존의 대부분 텍스트 공간 방법은 평가를 고정된 상태로 유지한다. 개방형 과제에서는 이로 인해 병목 현상이 발생할 수 있다. 즉, 해결사가 평가 기준이 측정하는 기준을 개선한 후에는 누락된 차원이 최적화 신호에 보이지 않게 된다. 단순히 평가 기준을 진화시키는 것도 현재 해결사의 점수에 기반하여 업데이트가 선택될 때 신뢰할 수 없는데, 이는 평가 기준을 충족시키기 쉽게 만들어 걸보기에는 진전이 있는 것처럼 보일 수 있기 때문이다. 우리는 DecoEvo(분리 공진화, Decoupled Co-Evolution)를 도입한다. 이는 분리된 목표 하에서 해결사 기술과 평가 기준 생성 기술을 공진화시키며, 최적화 과정에서 황금 평가 기준을 사용하지 않는다. 해결사 기술은 기준 수준의 피드백을 통해 업데이트되고, 평가 기준 생성 기술은 해결사 종합 점수와 무관한 요구 사항 범위와 응답 변별력에 대한 보완적 감사를 통해 수정된다. 이러한 분리는 생성자 업데이트를 새로 드러난 해결사 약점에 집중시켜, 해결사가 이미 충족하는 기준에 대한 반복적 강조를 줄인다. 각 벤치마크의 공식 평가에서 DecoEvo는 다섯 개 벤치마크 및 세 개의 LLM 백본에서 모든 비교 방법을 능가하며, 다섯 벤치마크 평균에서 SkillOpt 대비 2.8~5.0%의 상대적 성능 향상을 보인다.

실제 작업에서는 모델이 사전 학습된 지식에만 의존하지 않고 작업별 맥락으로부터 학습해야 하는 경우가 많다. 최근 연구에서는 이러한 능력을 맥락 학습(context learning)으로 강조하고 있지만, 기존 평가는 주로 텍스트 맥락에 초점을 맞추고 있다. 그러나 많은 실용적 상황에서 학습해야 할 맥락은 멀티모달(multimodal)이다. 과학적 발견은 그림과 표를 통해 전달되고, 금융 지표는 변환된 보고서에 흩어져 있으며, 공간적 결정은 지도, 장면 또는 웹 페이지에 의존한다. 본 논문에서는 맥락 학습이 무너지는 지점을 파악하기 어려운 문제를 해결하기 위해, 맥락 기반 이해(context grounding), 새 정보 적용(new information application), 새 지식 학습(new knowledge learning)이라는 세 가지 차원으로 작업을 구성한 멀티모달 맥락 학습 벤치마크인 CLBench-V를 소개한다. CLBench-V는 변환된 공개 벤치마크와 과학, 금융, 장문 문서 이해, 공간 추론, 웹 기반 시각 질의응답 등 다양한 도메인을 포괄하는 새로 구축된 데이터셋을 결합한다. 또한 도메인 특화 맥락 학습 작업 구축 비용을 줄이기 위해, 새로 구축한 데이터셋에 대해 자동 생성 및 필터링 절차를 사용한다. 총 3,443개의 인스턴스와 6개의 최신 멀티모달 모델을 대상으로 한 평가에서 최고 종합 점수는 0.2847에 불과하여, 멀티모달 맥락 학습이 아직 포화 상태에 크게 미치지 못했음을 보여준다. 또한 InternVL3.5-30B-A3B는 맥락 기반 이해와 새 지식 학습에서 최고 성능을 보였고, Qwen3.5-Plus는 새 정보 적용에서 최고 성능을 기록했다. 추가로 평가자 신뢰도, 맥락 길이, 이미지 개수, 대표적인 실패 사례를 분석한다. 코드는 https://github.com/IamLihua/CLBench-V 에서 확인할 수 있다.

장기 게임에서 행동하도록 대규모 언어 모델(LLM)을 훈련시키는 것은 범용 의사 결정을 향한 유망한 단계이지만, 검증 가능한 보상 기반 강화 학습(RLVR)은 어떤 결정이 성공을 결정짓는지에 대한 정보가 거의 없는 희소한 최종 보상에 의존합니다. 더 조밀한 프로세스 신호는 이러한 누락된 턴 단위 신용을 제공할 수 있지만, 기존 신호원은 저렴하면서도 정확하게 유지하기 어렵습니다. 우리는 게임 해결사의 상태 가치 변화가 특정 행동이 상태를 성공으로 진전시키는지 여부를 드러낸다는 점을 관찰했습니다. 이 통찰을 바탕으로, 우리는 이러한 가치 변화를 해결사 이점으로 변환하고 이를 턴 단위 신호로 RLVR에 주입하는 CAST(해결사 교사로부터의 신용 할당)를 제안합니다. 또한, 연성 최적 해결사 가정 하에서 해결사 이점을 최대화하는 것이 해결사로부터의 온-정책 증류와 동등하며, 교사 로짓 대신 스칼라 값만 필요함을 보여줍니다. Sokoban, Minesweeper, Rush Hour에서 CAST는 모든 게임에 대해 동일 도메인 및 미경험 난이도 평가에서 훈련된 모든 기준 모델을 능가했으며, ALFWorld와 WebShop에서 최고 평균 제로샷 성능을 달성했습니다. 우리의 코드는 https://github.com/Wloner0809/CAST에서 제공됩니다.

대규모 언어 모델 에이전트는 재사용 가능한 솔루션 패턴을 공유하는 관련되면서도 구별되는 작업을 자주 마주한다. 그러나 표준 에이전트 강화 학습은 작업을 독립적인 에피소드로 처리하는 반면, 기존의 기술 학습 접근법은 하나의 작업에 대한 반복 시도에 집중하거나 추출, 검색 및 실행이 얽힌 다단계 파이프라인을 사용한다. 본 논문에서는 작업 간 기술 학습을 위한 통합 강화 학습 프레임워크인 SkillRise를 소개한다. SkillRise는 관련 인스턴스를 점진적으로 난이도가 증가하는 시퀀스로 구성하고, 단일 정책을 사용하여 작업 해결과 다음 작업으로 직접 전달되는 진화하는 기술 문서의 큐레이션을 번갈아 수행한다. 작업 간 분리된 신용 할당은 현재 작업 결과로 해결을, 할인된 하류 결과로 큐레이션을 감독한다. ALFWorld, WebShop, ScienceWorld에서의 실험 결과, SkillRise는 비교 방법 중 가장 강력한 Pass@1 성능을 달성했으며, 가장 강력한 기준선 대비 2.3~8.5퍼센트 포인트의 이득을 보였다. 서로 다른 작업에 걸쳐 학습되었음에도 불구하고, 학습된 큐레이션 정책은 동일한 작업에 대한 반복 시도에서도 효과적으로 유지되었다. 추가 분석 결과, 각 작업이 한 번만 시도되더라도 관련 작업의 긴 시퀀스에서 성능이 향상되는 테스트 시간 스케일링이 작업 간에 나타났다. 이러한 경향은 SkillRise가 동일한 작업의 반복 샘플링에서 이점을 얻기보다는 작업 간 전이 가능한 기술을 재사용함을 시사한다. SkillRise는 또한 다단계 기술 학습 파이프라인의 런타임 오버헤드를 크게 줄이면서 강력한 성능을 유지한다. 종합적으로, 이러한 결과는 LLM 에이전트가 작업 간에 전이 가능한 기술을 추출, 정제 및 재사용할 수 있는 간단하고 효율적인 훈련 패러다임을 제공한다.

코딩 에이전트는 버그 수정 및 기능 구현을 포함하여 기존 코드베이스를 수정하는 소프트웨어 엔지니어링 작업에서 상당한 진전을 이루었습니다. 그러나 처음부터 완전한 프로그램을 구축하는 것은 여전히 주요 과제로 남아 있습니다. ProgramBench에서 평가된 최첨단 모델조차도 1% 미만의 작업만 완전히 해결합니다. 한 가지 장애물은 소프트웨어 개발의 단일 단계에만 초점을 맞춘 기존 환경 구축 프레임워크와 달리, 전체 소프트웨어 엔지니어링 수명 주기를 포괄하는 처음부터 구축 환경을 위한 확장 가능한 훈련 환경이 부족하다는 점입니다. 이러한 격차를 해소하기 위해, 우리는 오픈소스 명령줄 프로그램을 컴파일된 참조 실행 파일과 해당 문서만 제공하는 소스 코드 없는 환경으로 변환하는 자동화 파이프라인인 MindForge를 소개합니다. MindForge를 사용하여 ProgramBench의 저장소와 중복되지 않는 저장소에서 훈련 환경을 구축하고, GLM-5.2를 교사 에이전트로 사용한 프로그램 합성 궤적으로 구성된 고품질 데이터 레시피를 큐레이션합니다. 이러한 궤적으로 Qwen3.6-27B를 미세 조정하면 ProgramBench 평균 테스트 통과율이 37.98%에서 49.51%로 증가하여, 훨씬 더 큰 최첨단 모델과 견줄 만한 성능을 달성합니다. 또한 미세 조정된 모델은 장기 저장소 생성 및 번역, 버그 수정, 기능 구현, 교차 언어 문제 해결을 포괄하는 7개의 모든 미처리 소프트웨어 엔지니어링 벤치마크에서 기본 모델보다 일관되게 개선되었으며, RepoZero-C2Rust에서 31.00점, DeepSWE에서 14.16점, NL2Repo-Bench(테스트 포함/미포함)에서 10.70/4.56점, SWE-bench Verified에서 5.04점, SWE-bench Pro에서 5.93점, SWE-bench Multilingual에서 5.22점, FeatBench에서 4.94점의 절대적 향상을 보였습니다.

LLM 기반 에이전트는 기존 코드베이스가 맥락을 제공하는 소프트웨어 엔지니어링 작업에서 뛰어난 성능을 보이지만, 처음부터 프로그램을 작성하는 것은 근본적으로 더 어렵다. 최근 ProgramBench와 같은 벤치마크는 이러한 격차를 정량화하는데, 자연어 문서와 행동 오라클로서 실행 전용 바이너리만 제공될 경우 최첨단 모델조차도 1% 미만의 인스턴스만 해결한다. 기존 프레임워크는 문서 읽기, 행동 탐색, 코드 합성을 단일 패스로 혼합하여 에이전트가 충분히 탐색하지 못하고, 맥락이 변화함에 따라 행동 의도를 잃어버리며, 초기 해석 오류를 최종 구현으로 전파하게 만든다. 고전적 요구공학에서 영감을 받아, 우리는 행동 명세 도출이 구현에 앞선 일급 단계가 되어야 한다고 주장한다. 본 논문에서는 명세 도출이 코드 합성 전에 수행되도록 강제하는 2단계 프레임워크인 SpecFirst를 제시한다. 전용 명세 에이전트가 먼저 바이너리를 탐색하고 관찰 결과를 문서와 결합하여 구조화된 명세를 생성한다. 그런 다음 코드 합성 에이전트가 이 명세를 사용하여 구현을 진행한다. 이러한 분해는 코딩이 시작되기 전에 문서의 모호성을 해결하고 합성 전반에 걸쳐 안정적인 행동 참조를 제공한다. 우리는 두 패밀리와 한 자릿수 이상의 성능 차이를 보이는 네 가지 모델에서 모든 200개 ProgramBench 인스턴스에 대해 SpecFirst를 평가했다. SpecFirst는 단일 루프 기준선보다 일관되게 우수한 성능을 보였으며, 테스트 통과율을 6.9%~21.3%, 바이너리 탐색 범위를 9.4%~18.5% 향상시켰으며, 모두 통계적으로 유의미했다. 코드 합성에 대한 행동 분석은 사전 명세가 더 이르고 지속적인 코드 구성을 가능하게 함을 추가로 보여준다. 우리의 결과는 명시적 요구공학 단계가 처음부터 프로그램을 작성하는 데 효과적인 패러다임임을 입증한다.

최근 게임 월드 모델은 플레이어 행동에 따라 시각적으로 사실적이고 상호작용 가능한 환경을 생성할 수 있다. 그러나 게임은 단순히 픽셀만으로 정의되지 않는다. 게임은 명시적 메커니즘, 즉 체력 감소, 스킬 활성화, 게임 종료를 제어하는 상태 의존적 규칙에 의해 운영된다. 이러한 메커니즘은 체력 포인트, 스킬 미터, 타이머와 같은 정밀한 내부 상태에 의존하며, 이는 시각적 관찰과 밀접하게 연결되어 게임플레이가 어떻게 전개될지를 결정한다. 이러한 상태 역학을 모델링하지 않으면 기존 게임 월드 모델은 시각적으로 그럴듯한 전개를 생성할 수 있지만, 근본적인 게임 규칙을 위반할 수 있다. 본 논문에서는 메커니즘 일관된 생성을 촉진하기 위해 시각적 콘텐츠와 게임 상태를 공동으로 예측하는 새로운 상태 인식 게임 월드 모델인 StatePlay를 제안한다. StatePlay는 혼합 트랜스포머(MoT) 스타일 아키텍처를 채택하여 특화된 시각 및 상태 표현을 유지하면서 교차 모달 상호작용을 가능하게 하여 예측된 상태가 프레임 생성을 안내하도록 한다. 각 분기는 해당 모달리티에 적합한 고유한 목표로 추가 최적화된다. 실험 결과 StatePlay는 상태 예측에 대해 평균 정규화 L1 거리가 0.06 미만을 달성한다. 또한, 명시적 상태 모델링이 없는 모델과 비교하여 우리의 방법은 생성된 게임 전개에서 메커니즘 충실도를 18.6% 향상시킨다. 전반적으로, 우리의 연구는 상태 인식 게임 월드 모델링의 중요성을 강조하며, 픽셀 수준의 사실성을 넘어 완전하고 메커니즘적으로 충실한 게임 생성으로 나아간다.

폭발적인 AI 발전에 대한 예측은 AI 에이전트가 AI 연구를 자동화하는 것에 달려 있다. 그러나 에이전트가 개방형 AI 연구를 수행할 수 있는지에 대한 증거는 부족하다. 현재 평가 방식은 좁고 검증 가능한 작업에 한정된 에이전트를 테스트하여 개방형 연구를 배제하거나, AI가 작성한 논문을 블라인드 피어 리뷰에 제출하는 방식을 사용하는데, 이는 과도하게 확장되어 있고 결과가 불확실하며 리뷰 품질이 낮은 문제를 안고 있다. 우리는 AI R&D 자동화를 향한 진전을 측정하는 세 번째 방법을 제안한다. 에이전트는 고품질의 미발표 논문의 핵심적이고 개방적인 연구 질문을 맡고, 논문의 원저자들이 그 결과물을 평가한다. 우리는 이를 섀도 평가(shadow evaluations)라고 부른다. 우리는 미발표된 NeurIPS 2026 제출 논문 두 편에 대해 섀도 평가를 실시했으며, 최첨단 에이전트에게 6일의 시간과 수천 달러 상당의 컴퓨팅 자원을 제공했다. 에이전트는 인간의 도움 없이 모든 엔지니어링 작업을 완료했지만, 연구 질문에 대한 실질적인 진전을 이루지 못했다. 그 결과, 두 논문 모두 원저자들에 의해 명백히 거절되었다. 우리는 다섯 가지 반복적인 실패 패턴을 식별했다: 게재 가능한 연구 수준에 대한 판단 부족, 연구 설계의 한계에 대한 비창의적 대응, 막다른 골목에서의 비효과적 회귀, 자원 인식 부족, 지시 방황(instruction drift)이다. 두 번째 모델과 스캐폴드를 사용한 강건성 검증에서도 이러한 실패가 재현되었다. 우리는 전문가 리뷰, 설문 응답, 에이전트 저장소 및 로그를 공개한다. 우리의 결과는 오늘날의 에이전트가 AI 연구의 엔지니어링을 수행할 수 있지만, 연구 생애 주기의 핵심 부분에서는 어려움을 겪는다는 초기 증거를 제공한다.

대규모 언어 모델(LLM) 에이전트는 사용자의 작업 완료를 지원할 것으로 점점 더 기대되고 있다. 그러나 기존 벤치마크는 에이전트가 합리적인 비용으로 오피스 제품군 워크플로우를 수행할 수 있는지 평가하는 데 제한적인 지원만 제공한다. 본 논문에서는 과제 수준의 경제적 기반을 갖춘 장기 오피스 제품군 작업에 대해 LLM 에이전트를 평가하기 위한 벤치마크인 OmegaUse-OfficeVal을 소개한다. 이 벤치마크는 실무자들이 제안한 오피스 제품군 요청에서 파생되어 개인정보 보호 프로세스를 통해 조정된 100개의 작업으로 구성된다. 평균적으로 이러한 작업을 완료하는 데 2.32시간의 인간 노동이 필요하다. 이 벤치마크의 중요한 특징은 각 작업이 인간 노동 시간과 작업 가격 대리값이라는 두 가지 경제적 신호와 쌍을 이룬다는 점이다. 이러한 신호는 인간 비용과 LLM 추론 비용 간의 직접 비교와 가치 가중 평가를 가능하게 한다. 안정적인 평가를 지원하기 위해 세분화된 루브릭에서 코드 기반 검증기를 개발한다. 인간 기준선과 함께 여러 최첨단 LLM을 평가한다. 평가된 모든 LLM은 인간 작업자보다 상당히 저렴하고 빠르지만, 아직 인간 수준의 제공 품질에는 도달하지 못했다. 코드와 데이터셋은 완전히 오픈소스로 제공되며, 자세한 정보는 프로젝트 웹사이트(https://omegause-officeval.github.io)에서 확인할 수 있다.

우리는 에이전트 음성 인식을 위한 추론 전용 기법인 Voice Memory를 제시한다. 스트림 시간에 고정된 교정기가 단일 도메인별 메모리 파일(memory.md)을 읽고, 발화별로 가설에 따라 행동할지 아니면 기권하고 1-최저(1-best)를 유지할지 결정한다. 비동기적으로 점수 게이트 최적화기가 해당 파일을 제한된 편집을 통해 수정하며, 홀드아웃 점수를 엄격히 향상시키는 경우에만 편집을 수용한다. 고전적인 ASR-언어모델 프레임워크에서 확장하여, 우리는 이러한 분할을 듣기-생각하기(listener-thinker) 구조라고 부른다. 두 역할은 메모리를 통해서만 결합되므로 가중치 변경이 없으며, 학습된 기술은 감사 가능하고 이식 가능하게 유지된다. 이 루프가 발견하는 작동 기술은 바로 절제(restraint)임이 밝혀졌다. 제약 없는 생성적 오류 교정(GER)은 과교정하여 금융 뉴스에서 편집의 최대 64%에서 올바른 토큰을 깨뜨리는 반면, Voice Memory는 이 비율을 35%로 낮춘다. 열 개의 HyPoradise 도메인에서 개방형 교정기를 사용한 결과, Voice Memory는 가중 단어 오류율을 8.36%에서 7.52%로 낮추고(세 개의 맥락 내 예제를 추가하면 7.47%), 어떤 데이터셋도 1-최적 기준선 아래로 후퇴시키지 않는다. 이득은 회복 가능한 여유가 가장 큰 곳에 집중되며, 항공 여행 명령(8.40%에서 3.40%) 및 잡음이 있는 원거리 음성(CHiME-4, 12.69%에서 10.46%)이 포함된다. 메모리는 교정기 계열 간에 전송되며 추론 경로에 매개변수를 전혀 추가하지 않는다. 향후 연구를 위해 데모와 예제 코드가 제공된다.

대부분의 비디오 편집 시스템은 여전히 명시적인 계층적 비디오 표현을 제공하지 못하여 사실적인 합성, 객체 재사용 및 일관된 조작 수행에 한계가 있다. 이러한 한계는 비디오 객체 삽입 및 비디오 계층 분해에서 특히 두드러지는데, 기존 방법들은 명시적인 전경 레이어 학습 데이터가 부족하여 암시적 추론이나 장면별 최적화에 의존한다. 본 연구에서는 정렬된 합성, 배경, 전경 비디오를 포함하는 대규모 삼중(triplet) 비디오 데이터셋인 TriLayer를 소개한다. 여기서 전경 레이어에는 객체 외형과 관련 시각 효과가 모두 포함된다. 이러한 명시적 학습 데이터를 통해 모델은 암시적으로 추론하는 대신 계층적 비디오 표현을 직접 학습할 수 있다. 이 데이터셋을 기반으로, 공유 노이즈 제거와 교차 브랜치 상호작용을 통해 RGB 합성 이미지와 RGBA 전경 레이어를 공동으로 모델링하는 이중 브랜치 확산 프레임워크인 DBL-Diffusion을 제안한다. 이 프레임워크를 두 가지 태스크로 구현한다. 첫째, 계층적 객체 삽입을 위한 DBL-Insert는 사실적인 합성과 유연한 후처리를 위해 명시적인 RGBA 레이어를 생성한다. 둘째, 비디오 계층 분해를 위한 DBL-Decompose는 삼중(triplet) 학습 데이터를 활용하여 전경 및 배경 레이어를 복원한다. 실험 결과, 명시적 레이어 모델링이 삽입 충실도와 분해 품질을 모두 크게 향상시킴을 보여준다.

저희는 최첨단 LLM을 대상으로 새로운 프롬프트 인젝션 공격을 발견하도록 훈련된 자동화된 레드티밍 에이전트인 GPT-Red를 소개합니다. 이 모델의 목표는 프로덕션 시스템의 견고성을 평가하고 개선하는 것입니다. 이를 위해 저희는 이 모델을 활용하여 현재까지 프롬프트 인젝션에 가장 강력한 모델인 GPT-5.6을 적대적으로 훈련합니다. GPT-Red를 만들기 위해, 동시에 훈련되는 다양한 방어자 에이전트 집단을 공격하는 과제를 모델에 부여하는 확장 가능한 자기 대체(self-play) 알고리즘을 설계했습니다. 저희는 가장 큰 규모의 RL 사후 훈련 실행과 동일한 수준의 컴퓨팅 자원을 사용하여 현실적인 레드티밍 환경에서 모델을 훈련했으며, 이는 지금까지 문서화된 LLM 안전 훈련 중 가장 큰 규모입니다. GPT-Red는 레드티밍에 탁월합니다: GPT-5.5까지의 이전 모델을 안정적으로 돌파하며, 인간 레드티머보다 더 많은 성공적인 공격을 발견하고, 보류된 환경, 방어자 모델, 하네스(harnesess)에도 일반화됩니다. 향후에는 각 새로운 GPT 모델의 견고성이 개선됨에 따라, 이는 더 강력한 레드티밍 에이전트를 위한 더 나은 학습 신호를 제공하여 자기 개선 선순환을 가능하게 할 것으로 기대합니다.

메모리는 대규모 언어 모델(LLM)에서 근본적인 아키텍처 차원으로 진화해 왔으며, 암묵적인 연산의 부산물에서 명시적이고 제어 가능한 다양한 메커니즘으로 전환되었습니다. 최근의 발전은 일시적 주의, 순환 상태 역학, 매개변수 효율적 적응, 확장 가능한 검색 저장소에 이르는 다양한 전략을 도입했지만, 이러한 급속한 진화는 연구 환경을 매우 파편화시켰습니다. 본 설문조사에서는 LLM의 메모리에 대한 체계적이고 아키텍처 중심의 분류 체계를 제시합니다. 우리의 프레임워크는 메모리를 표현(암묵적 대 명시적), 업데이트 역학(오프라인 대 온라인), 지속성(단기 대 장기)이라는 세 가지 직교 축을 따라 특성화합니다. 또한 메모리 쓰기, 라우팅, 상태 전환, 통합을 규정하는 세부 메커니즘을 공식화합니다. 이러한 통합된 관점은 연산 결합 메모리와 독립적으로 주소 지정 가능한 메모리 간의 개념적 경계를 명확히 하여 서로 다른 아키텍처 패러다임을 효과적으로 연결합니다. 또한 하이브리드 메모리 아키텍처, 시스템 수준 효율성 트레이드오프, 다차원 평가 방법론을 비판적으로 분석합니다. 이러한 분산된 발전을 일관된 프레임워크로 통합함으로써, 본 설문조사는 메모리 중심 LLM 설계의 궤적을 제시하고 확장 가능하고 적응형 언어 모델링의 미래 혁신을 위한 원칙적인 토대를 제공합니다.

온-정책 지식 증류는 대규모 교사 모델의 추론 능력을 소형 학생 모델로 전이하는 방법이지만, 기존 접근법은 세 가지 복합적 실패 모드에 직면한다: (i) 콜드 스타트 붕괴, 즉 새로운 학생 모델이 교사가 선호하는 토큰에 거의 0에 가까운 확률을 할당하는 현상; (ii) 상태 무관 발산 스케줄링, 즉 시간에 따라서만 전방/역방향 KL 발산을 보간하여 학생의 커버리지 상태를 무시하는 문제; (iii) 이진 보상 희소성, 즉 통과/실패 신호가 부분적으로 정확한 추적에서 정보를 폐기하는 문제. 본 논문에서는 각 문제에 대한 맞춤형 해결책을 제시하는 통합 프레임워크 CADENCE를 제안한다. DRIFT 메커니즘은 학생이 샘플링한 궤적에서 토큰별로 전방 KL과 역방향 KL 대리 목적 함수의 볼록 혼합을 스케줄링한다(시퀀스 수준 KL 기울기 추정기가 아닌 토큰별 대리 함수). 이를 확장하는 여섯 가지 구성 요소는 다음과 같다: (A) COVA, 커버리지 적응형 β 스케줄로 전방에서 역방향으로의 전이를 가속; (B) FTB, 분기 토큰 부스트로 전역 정규화된 엔트로피 기준을 통해 높은 엔트로피 위치에 기울기를 집중; (C) CCD, 밀집 보상으로 부정확하지만 근접한 추적에 수치적 근접성 부분 점수 제공; (D) LAP, 간결성 선호 정답 롤아웃 강화; (E) EMR, 엔트로피 정합 교정 정규화; (F) BSD, 부트스트래핑 자기 증류 단계. GSM8K와 MATH-500에서(수정된 512토큰 프로토콜, 5시드, 표준편차 보고) CADENCE는 1.5B 교사로부터 0.5B 학생을 증류하여 GSM8K pass@1 69.8 ± 0.5%를 달성했다(사전 학습 기준 48.7%; 교사와의 격차 중 63.2% 해소). 3B 교사 사용 시 72.1 ± 0.4%를 기록했으며(76.2% 해소), 가장 강력한 동일 연산량의 레이블 사용 기준선(DRIFT+이진 보상)보다 +4.4 ± 0.7% 포인트 높은 성능을 보였다. 모든 실험은 단일 Apple Mac Studio(M-시리즈, 64GB 통합 메모리)에서 수행되었으며, 원칙에 기반한 증류가 데이터센터 규모의 하드웨어 없이도 강력한 추론 품질에 도달할 수 있음을 보여준다.

범용 조작 정책은 점차 대규모 사전 훈련된 백본 위에 구축된 액션 청킹 플로우 정책의 형태를 띠고 있습니다. 이러한 청크는 개방 루프로 실행되므로, 정책이 실행 중간에 도착하는 감각 입력에 반응할 수 없어 반응성이 희생됩니다. 더 자주 재계획하면 반응성을 되찾을 수 있지만, 지각-행동 파이프라인(대규모 백본과 여러 노이즈 제거 단계)이 너무 느립니다. 이러한 지연으로 인해 빈번한 재계획이 불가능해지고, 실행 중인 행동이 시대에 뒤처져 이러한 정책은 동적 폐루프 제어에 부적합합니다. 본 논문은 이러한 정책을 반응적이고 실시간으로 만들면서도 대규모 백본, 표현력이 풍부한 다중 모달 정책, 다중 행동 예측을 유지하는 πR^2를 제시합니다. πR^2는 확산 강제(diffusion forcing)의 위치별 노이즈 스케줄을 기반으로 두 가지 아이디어를 기여합니다. 첫째, 조건화를 빠른 채널(고유 감각, 매 틱마다 새로운 정보)과 비동기적으로 업데이트되는 느린 채널(시각-언어 특징)로 분할하여, 정책이 청크 내에서 고유 감각에 반응하는 동시에 낡은 시각 정보를 허용합니다. 둘째, 지연 적응적 플로우 스케줄은 실행 중인 행동을 인페인팅 조건화로 처리하고 호출당 하나의 노이즈 제거 단계로 행동을 생성하여, 하나의 훈련된 모델이 다양한 하드웨어 지연에 적응할 수 있게 합니다. 기존 아키텍처에 최소한의 수정만을 요구하는 πR^2는 사전 훈련된 정책에서 미세 조정될 수 있습니다. 실제 xArm6+XHand 플랫폼에서 GR00T-N1.7에 적용한 결과, 기본 정책보다 약 4배 빠르게 폐루프 재계획을 수행하며(A5000 GPU에서 약 25Hz), 40ms마다 새로운 관측값에 반응합니다. 시뮬레이션 및 실제 조작 작업에서 πR^2는 가장 강력한 기준선 대비 시뮬레이션에서 최대 23%, 실제 환경에서 최대 30%의 성공률 향상을 보여줍니다. 프로젝트 페이지: https://pi-r2-flow.github.io/

현대의 다중 에이전트 지식 시스템은 직접 검색보다는 자율적 변환 체인을 통해 점점 더 지식을 축적합니다. 기존의 출처 추적 연구는 실행 추적, 도구 호출, 증거 링크 등 발생한 일을 기록하며, 출처 신뢰도 추정(진실 발견, 평판 시스템)은 오래전부터 확립되어 있습니다. 부족한 것은 등급화된 도메인별 전송자 신뢰도를 주장 수준 전송 체인에 연결하고, 완전성 의미론, 변환 유형별 집계, 분리된 내용 비판, 제공/검토/격리 라우팅을 갖춘 운영 프레임워크입니다. 고전 이슬람 하디스 학문은 구조적으로 유사한 문제에 직면했습니다: 인간 전승자들의 체인을 통해 전달된 지식을 받아들일지 여부를 결정하는 것이었습니다. 수세기에 걸쳐 엄격한 방법론을 발전시켰습니다 - 이스나드(모든 주장에 첨부된 완전한 전송 체인), 리잘(각 전승자의 청렴성과 정밀성에 대한 체계적 등급 매기기), 최약 고리 체인 평가, 독립적 체인을 통한 입증, 그리고 마트 비판(체인 품질과 독립적으로 평가된 내용). 이 논문은 이 방법론을 AI 시스템 설계에 이전합니다. 우리는 하디스 학문 개념에서 다중 에이전트 파이프라인으로의 형식적 매핑, 주장 체인과 등급화된 전승자 등록부를 구현하는 관계형 스키마, 체인 등급과 내용 비판을 결합한 의사 결정 행렬, 그리고 실제 물리학 교과서에서 가져온 20,000개의 주장에 대한 평가를 제시합니다. 평가는 최약 고리 격리와 독립적 체인 입증을 검증하며; 최고 결함 전승자를 놓친 등급 복구 루프의 부분적 실패를 보고하며; 참조 내용 비판과 프레임워크가 도달할 수 없었던 일치 커버리지 비교를 포함하여 두 가지 분석이 결론이 나지 않았음을 보고합니다. 이 논문은 증거가 지지하는 주장과 아직 지지하지 않는 주장이 무엇인지 전반적으로 명시적입니다.

스텔스(Stealth)는 자신의 존재, 역량 또는 수집한 정보를 드러내지 않고 목표를 달성하는 기술로, 정교한 운영자와 탐지 가능한 운영자를 구분짓는 핵심 요소입니다. 정예 보안 연구자와 고급 지속 위협(APT)은 눈에 띄지 않게 목표를 달성합니다. 자율 에이전트가 점점 더 동일한 공격 작업을 수행하게 되면서, 과연 그들도 이러한 전문 기술(tradecraft)을 물려받았을까요? 본 논문에서는 자율 공격-보안 에이전트의 운영 스텔스를 여섯 가지 운영 보안(OPSEC) 차원에서 측정하는 벤치마크인 StealthBench를 소개합니다. 실제 버그 바운티 및 레드팀 수행 경로에서 11건의 수동 검증된 OPSEC 사례를 추출하여 14개의 도커 기반 과제 시나리오로 확장했습니다. 이 시나리오에서 에이전트들은 실제 취약점을 발견했음에도 불구하고 표준 운영 전문 기술에 부합하지 않는 스텔스 실패를 저질렀습니다. 예를 들어, 공개 업로드에 자격 증명을 포함시키거나, 접근 권한을 증명하기 위해 프로덕션 리소스를 삭제하거나, 경쟁 조건(race condition)을 입증하기 위해 관련 없는 사용자를 강제로 추가하는 등의 사례가 있습니다. 에이전트 수행 경로는 다수결 집계 방식을 사용하는 3개 대규모 언어 모델(LLM) 심사위원 패널을 통해 평가했으며, 안전 성공률(해결 및 스텔스 달성), Stealth@Solve(성공적 해결 시 전문 기술 품질), 무모한 해결률(해결했지만 노출됨)을 측정했습니다. 실험 결과, 어떤 모델도 54%의 안전 성공률(과제 완료와 스텔스를 모두 요구하는 복합 지표)을 초과하지 못했으며, 이는 OPSEC 실패가 모델군 전반에 걸쳐 체계적으로 발생함을 확인시켜 줍니다. StealthBench를 공개 벤치마크로 제공하여 스텔스를 인식하는 에이전트 개발과 자율 공격-보안 배포를 위한 자동화된 OPSEC 모니터링을 지원하고자 합니다. 대화형 리더보드, 평가 도구, 데이터셋은 https://stealthbench.com 에서 확인할 수 있습니다.

대규모 언어 모델(LLM) 에이전트는 호스트 아티팩트와 명령줄 인터페이스(CLI)에 접근하여 실제 보안 운영에 점점 더 많이 도입되고 있으며, 이에 따라 이들의 보안 역량을 철저히 평가하는 것이 중요해지고 있다. 그러나 기존의 사이버 보안 벤치마크는 공격 발생 전 에이전트가 깨끗하고 이상적인 환경에 배치되는 사전 침해 설정에 초점을 맞추고 있다. 이로 인해 사후 침해 설정은 충분히 탐구되지 못하고 있다. 이러한 격차를 해소하기 위해, 우리는 사후 침해 침해 대응 워크플로우에서 LLM 에이전트를 평가하는 최초의 벤치마크인 SecRespond를 소개한다. 침해된 호스트의 포렌식 디스크 스냅샷과 호스트 보안 제품이 보고한 알림, 취약점 스캔, 베이스라인 점검 결과가 주어지면, 에이전트는 침해, 베이스라인 위험, 취약점 위험에 대한 포렌식 보고서와 함께 복구 계획을 생성해야 한다. 우리는 이 작업을 10개의 사이버 레인지에 걸쳐 구체화하였으며, 각 레인지는 서로 다른 침해된 클라우드 호스트로 구성되어 있으며, 4개의 진입점 유형, 21개의 ATT&CK 기법, 5개의 운영 체제를 포함한다. 우리는 OpenCode 에이전트 하네스에서 23개의 최첨단 LLM을 평가한다. 실험 결과, 현재 에이전트는 알림에 의해 드러난 문제를 신뢰성 있게 발견할 수 있지만, 디스크를 능동적으로 조사하여 무음 침해를 찾아내고 포괄적이고 검증된 복구 계획을 생성하는 데 어려움을 겪으며, 어떤 모델도 단일 레인지에서 완전한 탐지 및 복구를 달성하지 못했다. 이는 실제 침해 대응을 위한 에이전트 구축에 근본적인 병목 현상이 있음을 드러낸다. 해당 벤치마크는 https://github.com/Alibaba-NLP/qqr/tree/main/data/secrespond에서 공개적으로 이용 가능하다.

기존의 자기회귀 영상 증류 방법은 일반적으로 분포 정합 증류(DMD) 기반의 다단계 파이프라인을 채택한다. 그러나 이러한 방법들은 초기화 단계와 DMD 단계를 분리하여 각기 다른 목표 분포를 추구하도록 하고, 중간 학생 모델을 주로 VBench와 같은 시각적 점수로 평가하는 경향이 있다. 본 논문에서는 분포 관점에서 이 설계를 재검토한다. 분포 정합 손실의 모드 탐색적 특성을 고려할 때, 좋은 초기화는 단순히 높은 품질을 추구하는 것이 아니라 대상 DMD 교사의 모드 적용 범위와 일치해야 한다. 이를 분석하기 위해, 공유 잠재 공간에서 학생과 교사 분포 간의 정밀도와 적용 범위를 측정하는 분포 평가 프로토콜을 도입한다. 이는 시각적 점수에 가려진 차이를 드러낸다. 일부 초기화는 높은 정밀도에 도달하지만 적용 범위가 낮아 최적의 정제가 이루어지지 않는 반면, 모드를 포괄하는 초기화는 더 넓은 지지를 유지한다. 더 나아가, 목표 분포가 정렬된 경우에도 DMD의 역-KL 목적 함수는 학습 후반에 학생을 높은 확률의 교사 영역으로 유도하여 적용 범위와 다양성을 감소시킬 수 있다. 이 문제를 해결하기 위해, DMD의 모드 탐색 목적과 일관성 증류 기반의 모드 포괄 제약을 결합한 공동 증류를 제안한다. 실험 결과, 본 방법은 생성 품질, 적용 범위, 다양성을 향상시킨다. 특히 Wan-1.3B DMD 교사를 사용하더라도 Wan-14B로 정제된 기준선보다 성능이 뛰어나며, 이는 자기회귀 영상 증류에서 분포 정렬의 중요성을 강조한다.