일간 논문

루프 엔지니어링은 코딩 에이전트를 중심으로 개발 작업을 구성하는 실무 방식으로 떠오르고 있다. 실무자들은 모든 프롬프트를 수작업으로 작성하는 대신, 진행 상황을 모니터링하고 작업을 할당하며 검사를 실행하고 에이전트가 다음에 수행할 작업을 결정하는 루프를 설계한다. 유능한 코딩 에이전트가 있더라도, 루프는 오래된 진행 기록을 신뢰하거나, 필요한 검증을 건너뛰거나, 예산을 잘못된 방향으로 사용하거나, 작업을 안전하게 제출할 수 있기 전에 중단할 수 있다. 그러나 한 번의 종단 간 실행의 최종 결과만으로는 성공이나 실패가 루프의 지침 때문인지, 작업을 수행하는 코딩 에이전트의 능력 때문인지 알 수 없다. 우리는 한 모델이 별도의 코딩 에이전트를 장기 실행 작업에서 얼마나 잘 이끌 수 있는지 평가하는 벤치마크인 LoopArena를 소개한다. 평가 대상 모델은 컨트롤러(Controller)로서, 각 코딩 라운드가 끝난 후 실행의 구조화된 요약을 받아 다음에 수행하거나 검증할 작업을 별도의 고정 코딩 에이전트인 워커(Worker)에게 지시하거나, 중단 여부를 결정한다. LoopArena는 실행 범위와 비용이 다른 세 가지 상호 보완적 설정에서 이러한 능력을 평가한다. 유형 I은 평가 시점에 워커를 실행하지 않고 실행 검증된 질문을 통해 다음 단계의 루프 계약(Loop Contract) 선택을 채점한다. 유형 II는 전체 작업 중 선택된 일부에 대해 반복적인 제어를 실행하고, 유형 III는 원래 상태의 전체 작업을 짝지어 평가한다. 전체 작업에서 관찰된 최고 엄격 성공률은 24.69\%로, 장기 지평 루프 제어에는 상당한 개선 여지가 남아 있다. 컨트롤러 전반에 걸쳐 추정 추론 비용의 짝별 감소율은 평균 64.4\%이며, 유형 II는 주요 Core 기준에서 유사한 순위를 산출한다(Spearman's \(ρ=0.9747\)). 우리는 벤치마크 데이터와 평가 코드를 https://github.com/AMAP-ML/LoopArena 에서 공개한다.

대규모 언어 모델(LLM)에 다중 턴 도구 호출 능력을 장착하는 것은 자율 에이전트를 구축하는 데 필수적이다. 그러나 전체 길이 궤적 모방에 의존하기 때문에 진전이 근본적으로 제한된다. 순서에 무관한 여러 하위 목표를 포함하는 작업의 경우, 최적 해 공간은 방대한 조합적 다이아몬드 격자를 형성한다. 이 풍부한 위상을 단일 궤적으로 강제하면 심각한 위상 붕괴가 발생하여, 유효한 대안적 탐색을 무차별적으로 벌점화하고 정책 다양성을 심각하게 저하시킨다. 이 문제를 해결하기 위해 우리는 전역적 강제에서 위상 안내 지역 보정으로 패러다임을 전환하는 새로운 프레임워크인 DART-SD(Diamond-topology Aware Retrieval and Tuning for Self-Distillation)를 제안한다. DART-SD는 먼저 실행 과정을 수렴형 상호작용-상태 전이 그래프(ISTG)로 모델링하여 성공 및 실패 탐색 경로의 고유한 다이아몬드 위상을 충실히 포착한다. 자율 롤아웃 과정에서 프레임워크는 임계 위상 분기점(CTB)을 식별하고 성공으로 검증된 복구 참조를 검색한다. 마지막으로, 우리는 CTB 안내 지역 감독을 통한 점진적 자기 증류 패러다임을 도입하여, 훈련 손실이 생성된 복구 단계에만 계산되도록 보장하고 유효한 추론 접두사가 파괴적인 경사도 업데이트로부터 엄격히 보호되도록 한다. 복잡한 다중 턴 도구 호출 벤치마크에 대한 실험은 DART-SD가 기존의 전체 궤적 베이스라인보다 훨씬 뛰어난 성능을 보임을 입증한다.

로봇 데이터 확장은 범용 비전-언어-행동(VLA) 모델을 구축하는 데 필수적이지만, 로봇 궤적 데이터는 체화 기반 수집 비용이 높고 물리적 세계를 희소하게만 커버하므로 웹 규모의 이미지-텍스트 데이터보다 확장하기 어렵다. 이에 따라 표현 품질이 핵심 병목으로 부상한다: 고정된 로봇 데이터 예산 하에서 지속적 사전 학습은 제한된 궤적을 단순히 행동에 맞추는 것을 넘어, 전이 가능한 시각-행동 지식으로 전환해야 한다. 본 논문은 작업별 미세 조정 전에 광범위하고 이질적인 다중 체화 로봇 데이터로 사전 학습되는 VLA 지향 VLM 백본인 VLAct를 제안한다. VLAct는 VLM 사전 지식 보존, 다중 헤드 연속 행동 공동 지도, 부분적으로 통합된 교차 체화 행동 레이아웃을 통해 광범위한 VLM 사전 지식을 유지하고 체화 간 공유 행동 의미론을 장려하며, 미세 조정 단계에서는 작업별 행동 헤드를 허용한다. 시뮬레이션, 실제 환경, 미경험 체화 전이 전반에 걸쳐 VLAct는 고정된 미세 조정 프로토콜 하에서 다운스트림 성능을 일관되게 향상시킨다. LIBERO-Plus와 RoboTwin 2.0에서 VLAct는 ABot-M0 및 LingBot-VLA를 포함한 산업용 VLA 시스템을 능가하며 각각 82.6%와 92.5%의 성공률을 달성한다. RoboDojo에서 VLAct는 성공률 기준 전체 정책 중 6위를 기록하고, 명시적으로 지정된 모든 세계-행동 모델(WAM) 항목을 두 지표 모두에서 능가한다. 가장 주목할 만한 점은, 미경험 휴머노이드 체화인 RoboCasa-GR1에서 VLAct가 다운스트림 궤적의 20%만 사용하고도 전체 데이터를 사용한 GR00T-N1.6 기준선을 능가한다는 것이다. 이러한 결과는 완전히 오픈소스로 공개된 데이터와 16-GPU 학습 환경만으로 달성되었으며, 이는 표현 중심의 지속적 사전 학습이 소규모 컴퓨팅 예산 하에서도 매우 경쟁력 있는 성능을 제공할 수 있고, 데이터 확장을 넘어서는 VLA 발전의 중요한 독립 축임을 시사한다.

생성 모델은 자연어 프롬프트를 이미지, 텍스트, 코드 및 기타 콘텐츠로 변환하여 초안과 구성 요소를 생산하는 비용을 낮춘다. 이러한 모델의 실질적 영향력은 점점 더 그러한 조각들이 완전하고 신뢰할 수 있는 인도물로 전환될 수 있는지에 달려 있다. 본 조사(survey)는 에이전트 기반 산출물 생성(agentic artifact creation)을 검토하며, 이를 AI 시스템이 인도물을 실질적으로 생성하거나 수정하고 중간 관찰이 이후 작업을 방향 전환시키는 상태 유지형 구축(stateful construction)으로 정의한다. 기능적으로 이 과정은 산출물의 운영적 표현(operational representation), 구축 정책(construction policy), 그리고 피드백을 통해 이후 행동을 방향 전환할 수 있는 런타임 검증(runtime verification)을 연결한다. 우리는 2026년 8월 20일까지 이용 가능한 259편의 연구를 검토하였다: 이 정의를 충족하는 230개 시스템과 에이전트 기반 산출물 구축을 위한 29개 벤치마크이다. 우리는 여섯 가지 산출물 계열(artifact family)을 비교한 다음, 애플리케이션 설정과 평가 관행을 별도의 차원으로 분석한다. 계열 전반에 걸쳐 구축 과제는 양식(modality)뿐만 아니라 결정이 얼마나 긴밀하게 결합되어 있는지, 그리고 실패가 여전히 수리 가능한 동안 가시화되는지 여부에 따라 달라진다. 분해(decomposition)는 지역적 복잡성을 줄일 수 있지만 조정 및 재조립 비용은 증가시킨다. 학습된 평가기(learned judge)는 생성기의 선호도나 맹점을 공유할 때 독립적 증거를 거의 추가하지 못할 수 있다. 우리는 약속과 책임을 명시적으로 유지하고, 피드백을 목표 지향적 수리로 전환하며, 변경 후 영향받은 상태를 재검증하기 위한 원칙을 정립한다. 또한 산출물, 창작자 의도, 구축 시스템이 진화함에 따라 지속 가능하고 책임 있는 통제를 유지하기 위한 기회를 식별한다. 선별된 논문 목록은 https://github.com/GeminiLight/awesome-agentic-artifact-creation 에서 확인할 수 있다.

물리적 이해와 추론은 세상에 대한 간결하고 일반화 가능한 표현을 구축하는 데 의존한다. 현대의 비전-언어 모델은 다양한 물리적 사건을 인식하고 설명할 수 있지만, 세계가 어떻게 진화하고 개입에 어떻게 반응하는지를 안정적으로 추론하는 데 필요한 기저 메커니즘(객체 상태, 물리적 매개변수, 지배 역학 등)에 대한 명시적 표현이 부족한 경우가 많다. 본 연구에서는 실행 가능한 세계 표현을 통해 물리적 세계를 나타내는 패러다임인 Code-as-World를 소개한다. 물리적 구성, 동적 진화, 시각적 외형을 실행 가능한 코드로 표현함으로써, Code-as-World는 물리적 세계에 대한 간결하고 정량적 근거를 갖춘 제어 가능한 추상화를 제공한다. 자연어 설명이나 실세계 비디오와 같은 다중 모달 관측으로부터 이러한 표현을 구축하기 위해, 우리는 귀추적 추론에서 영감을 얻은 에이전트 기반 발견 루프를 개발한다. 이 루프에서 에이전트는 실행 가능한 세계 가설을 제안, 실행, 렌더링, 검증하고 반복적으로 정제한다. 구체적인 응용으로서, 우리는 검증된 실행 가능한 세계를 활용해 정량적 물리 추론을 위한 비전-언어 모델 훈련에 확장 가능한 물리적 감독을 제공한다. 실험 결과, Code-as-World-VL은 QuantiPhy에서 최고 수준의 성능을 달성하며 선도적인 독점 모델들을 능가하여, 물리적 지능을 위한 확장 가능한 기반으로서 실행 가능한 세계 표현의 잠재력을 보여준다.

자기진화 언어 모델은 최근 인간 감독 비용을 절감할 수 있는 이점으로 초지능을 향한 유망한 경로로 부상하고 있다. 검증 가능한 영역에서는 상당한 진전이 이루어졌지만, 검증 불가능한 영역에서의 자기진화는 여전히 탐구가 크게 부족하다. 우리는 두 영역 모두에서 자기 개선을 지원하는 통합 도전자-해결자-판정자 공진화 프레임워크인 J-Zero(제로 데이터 기반 판정자 공동 적응)를 제안한다. 도전자와 해결자는 적대적 상호작용을 통해 공진화한다. 도전자는 점점 더 어려운 작업을 생성하고, 해결자는 이에 대한 더 높은 품질의 응답을 생성하는 방법을 학습한다. 동시에 판정자는 각 응답이 생성된 방식에서 순서가 사전에 알려진 선호 쌍, 즉 해결자의 답변이 도전자의 답변보다, 분해·재결합된 답변이 원샷 답변보다 우선하는 선호 쌍을 사용하여 공동 적응한다(판정자 자신의 점수에 기반하지 않음). J-Zero는 검증 가능한 영역에서 평균 4.2점, 검증 불가능한 영역에서 평균 8.0점으로 기준선을 능가하며, 기준선은 두 번의 반복 후 성능이 저하되는 반면 J-Zero는 최소 10번의 반복을 통해 계속 개선된다.

언어 모델 사전 학습은 거의 감당하기 어려운 비용과 동의어가 되면서, 학계와 오픈소스 커뮤니티의 상당 부분이 접근하기 어려운 영역이 되었다. 오픈 가중치 모델과 오픈소스 훈련 레시피를 포함한 강력한 오픈소스 노력이 이미 존재하지만, 비용 효율적이고 하드웨어 접근성이 높은 오픈소스 사전 학습 레시피는 오랫동안 부재했다. 소규모에서도 Llama-3.2-3B를 학습하는 데는 150만 달러 이상이 들고, SmolLM3-3B를 재현하는 데는 70만 달러 이상이 필요하다. 본 보고서에서는 이러한 장벽을 낮추기 위해 설계된 오픈 사전 학습 레시피를 제시한다. 이 레시피를 사용하여 우리는 소비자용 RTX 5090 GPU에서 FP8 정밀도로 최대 1.4조 토큰에 대해 Puro-2B 모델 모음을 처음부터 학습한다. 모음의 모델들은 토큰 예산과 선택된 레시피 변형에 따라 다르다. 우리의 최고 모델은 6,900달러 미만의 컴퓨팅 비용으로 학습되었으며, 우리의 평가 프로토콜에서 Qwen2.5-1.5B 성능에 근접한다. 이러한 비용 효율성은 하드웨어 선택, 저정밀 훈련, 하이퍼볼 최적화, 커리큘럼 모델 평균화, 데이터 레시피를 포함한 여러 접근법의 결합으로 달성된다. 레시피 자체 외에도 우리는 두 가지 추가 결과를 제공한다. 첫째, Puro-2B 모음 전반에 걸쳐 훈련 비용과 평균 모델 성능을 연관 짓는 Puro 비용 스케일링 법칙(Puro Cost Scaling Law)을 도출한다. 적합된 법칙에 따르면 약 4.4K 달러, 즉 5,090달러 미만의 비용으로 Qwen2-1.5B의 성능에 도달하기에 충분하다. 둘째, 엔드투엔드 사례 연구로서 사전 학습 데이터 커리큘럼이 후속 훈련 이후의 다운스트림 성능을 어떻게 형성하는지 살펴본다. 이러한 통제된 연구는 모델 가중치만이 아니라 전체 사전 학습 파이프라인에 접근할 수 있기 때문에 가능하다. 우리는 데이터, 코드, 모델 가중치를 포함한 Puro-2B의 전체 훈련 레시피를 Apache 2.0 라이선스로 https://huggingface.co/collections/thu-pacman/puro-2b 에 공개한다.

매우 긴 비디오로부터의 스트리밍 3D 재구성은 제한된 메모리와 연산 조건에서 카메라 모션과 장면 기하를 온라인으로 추정할 것을 요구한다. 초기 스트리밍 모델들은 유한 컨텍스트 버퍼나 간결한 순환 상태를 사용하여 인과적이고 비용이 제한된 추론을 달성하지만, 시퀀스가 길어질수록 추정치가 종종 저하된다. 최근 방법들은 단기 컨텍스트를 영구적 또는 다중 수준의 장기 메모리와 결합함으로써 장기 안정성을 개선한다. 우리는 다른 경로를 추구한다: 학습된 시간적 상태를 엄격히 지역적으로 유지하고, 그 목표가 시퀀스 길이와 무관하게 유지되는 예측을 공식화한다. 우리는 이전 11개 프레임의 KV 특징만 캐시하는 간단한 스트리밍 모델인 ABot-Recon을 제시한다. 이 모델은 현재 카메라 좌표계의 포인트 맵과 인접 프레임 간 상대 포즈를 예측한다. 이러한 예측은 기준 좌표계의 변경 하에서 등변량을 유지하며, 전역 포즈와 기하는 순차적 합성을 통해 복원된다. 누적 드리프트를 줄이기 위해, 경량의 시간적 리파이너가 최근 시각 및 모션 컨텍스트를 사용하여 상대 회전을 개선하고, 합성 인식 포즈 손실이 다단계 포즈 합성을 지도한다. 까다로운 장기 시퀀스 벤치마크에 대한 광범위한 평가는 우리의 지역 컨텍스트 접근 방식의 우수한 장기 성능을 입증한다. Oxford Spires에서 ABot-Recon은 ATE 4.35m와 RPE-R 0.12°를 달성하여, 최고의 기존 결과 대비 두 오차를 모두 약 40% 줄인다.

본 논문은 모델 가중치는 고정한 채 환경 특화형 에이전트 하네스(harness)를 진화시키는 프레임워크인 StarHarness를 제시한다. 진화된 하네스는 프롬프트 및 태스크 프레이밍, 도구 인터페이스, 스킬, MCP 기반 프로바이더, 서브에이전트 구조, 에이전트 루프 구성을 포함할 수 있다. StarHarness는 베이스라인 실패 동작에 따라 태스크를 계층화하여 컴팩트한 진화 풀을 구성하고, 제안자(proposer)에게 공개되는 탐색 태스크와 비공개 선별 태스크를 분리하며, 일반화 평가를 위한 홀드아웃 태스크를 별도로 유지한다. ITBench SRE, EnterpriseOps-Gym ITSM, AutomationBench Finance 실험에서 하네스 진화는 환경당 4~12회의 채택된 변경만으로 기본 하네스 대비 전체 벤치마크 성능을 20~35퍼센트포인트 개선한다. 이러한 성능 향상은 진화에서 제외된 태스크에서도 유지되며, GPT 및 Qwen 모델 군 전반에 걸쳐 재진화 없이 전이된다. 트레이스 분석은 이러한 개선이 인터페이스 수리, 환경 관례, 검색 공간을 압축하는 운영 지식에 기인함을 보여주며, 여러 설정에서 거짓 양성 진단 감소와 더 짧은 궤적이 관찰된다. 따라서 StarHarness는 도구 중심의 엔터프라이즈 태스크에서 지속적인 모델-환경 불일치를 줄이는 실용적인 수단을 제공한다.

비전-언어-행동(Vision-Language-Action, VLA) 모델은 다중 모달 맥락을 로봇 행동으로 변환할 수 있지만, 이들의 행동 디코더(action decoder)는 여전히 대부분 행동 복제(behavior cloning) 방식으로 훈련된다. 이는 어떤 모터 명령이 시연되었는지를 지도할 뿐, 지시 하에 행동이 추구하는 국소적 목적은 암시적으로 남겨둔다. 미래 기반 지도(future-based supervision)는 프레임, 잠재 관측, 궤적, 또는 운동 표현으로 행동 학습을 강화하지만, 이러한 신호들은 다가올 행동의 공유된 의미적 목적보다는 발생 가능한 특정 실현들을 포착한다. 우리는 행동 수준의 의도를 행동 디코더로 증류하는 의도 증류(Intention Distillation, INDI)를 제안한다. 훈련 중에 동결된 교사 VLM은 현재 관측, 지시, 개괄적 행동 요약, 그리고 해당 실행 비디오로부터 시연된 세그먼트를 해석한다. 배포된 VLA는 표준 입력으로부터 결과적인 다중 모달 의도 표현을 중간 디코더 계층에서 복구하고, 이를 행동이 어떻게 전개되는지와 무엇을 달성하는지에 대한 표현들과 함께 행동 예측을 조직화하는 데 사용한다. SimplerEnv-Bridge에서 INDI는 GR00T-N1.7을 64.3%에서 84.7%로 개선하며, RoboCasa Kitchen에서는 통제된 GR00T-N1.7 기준 모델을 64.1%에서 70.3%로 개선하고, 두 벤치마크 모두에서 π_{0.5}에 대한 일관된 향상을 보인다. 실제 세계 작업에서 INDI는 평균 성공률을 62.0%에서 68.7%로 개선하며, 더 긴 지평의 작업에서는 최대 12.0% 포인트의 향상을 달성한다. 추가 분석은 복구된 잠재 표현이 디코더에 의해 사용되며, 행동 목적과 실행 진행을 포착하고, 목적에 의존적인 방식으로 후속 예측을 조직화함을 보여준다. 이러한 결과는 행동 디코더가 자신이 생성하는 행동의 의미적 목적을 명시적으로 모델링함으로써 이득을 얻는다는 것을 보여준다.

자기회귀 비디오 확산은 제한된 최근 컨텍스트에서 청크를 생성함으로써 확장 가능한 장기 비디오 생성을 가능하게 한다. 최신성 기반 캐싱은 지역적 연속성을 보존하지만, 주체, 객체, 장면 또는 속성이 다시 등장할 때 필요한 과거 단서를 제거한다. 기존 메모리 메커니즘은 모델이 비국지적 과거에 접근할 수 있게 하지만, 접근만으로는 효과적 활용이 보장되지 않는다. 우리의 분석에 따르면 비디오 DiT 계층은 현재, 최근, 먼 컨텍스트에 대해 서로 다른 선호도를 보이며, 이는 장거리 메모리가 무엇을 검색할지와 어디에 사용할지 모두 결정해야 함을 시사한다. 우리는 현재-조건부 계층 선택적 메모리 라우터인 LayerRecall을 도입한다. 이는 관련된 과거 K/V 상태를 검색하여 백본 특정 메모리 민감 계층에만 주입하고, 다른 곳에서는 지역적 어텐션을 보존한다. 희소한 고품질 장기 비디오와 명시적 메모리 할당 레이블에 대한 의존도를 줄이기 위해, 우리는 특권적 장기 컨텍스트 참조를 사용하여 예측 공간에서 제한된 메모리 라우터를 감독하는 교차-지평선 예측 정합(CHPM)을 추가로 제안한다. 100개의 멀티샷 평가 프롬프트에서 LayerRecall은 MemoBench와 MovieBench에서 최고의 전체 성능을 달성하고 VBench-Long에서 백본과 동등한 성능을 보여, 지역적 연속성을 희생하지 않으면서 더 강력한 장거리 복원을 입증한다. 정성적 분석은 메모리 유도 자기 수정을 추가로 밝혀낸다. 이는 초기에 불일치했던 지역적 속성이 진행 중인 모션 또는 장면 구조를 재설정하지 않고 과거 외관으로 복귀하는 것이다. 추가 분석은 교차-백본 이식성과 무시할 수 있는 추론 오버헤드를 보여준다.

순환 고속 가중치 메모리와 선택적 상태-공간 모델은 확장되는 맥락을 고정 크기의 순환 상태로 압축하며, 상태 전이를 온라인 학습 규칙으로 만든다. 우리는 이 규칙을 쓰기-후-읽기 자기회귀 의미론 하에서 연구한다. 여기서 고려하는 프리픽스 예측 목적 함수에서, 단계 t에 드러나는 로컬 고속 메모리 예제는 프리픽스 정렬 쌍 (x_t, y_t) = (ϕ(k_{t-1}), v_t)이다. 일반적인 동일 단계 연관 (ϕ(k_t), v_t)은 여전히 인과적이지만, 다른 내부 목적 함수를 최적화한다. 우리는 제곱 오차 회귀와 음의 내적 목적 함수에 대한 정규화된 1차 업데이트를 유도한다. 회귀 패밀리는 Falcon-1(스칼라 NLMS 업데이트), Falcon-2(이에 대한 열별 확장), Falcon-3(슬라이딩 윈도우 미니배치 업데이트)로 구성되며, Falcon-1A/Falcon-2A/Falcon-3A는 대응하는 내적 변형이다. 우리는 순환형, 마스크-병렬형, 청크-병렬형 형태를 제공하고, 수치적으로 안정적인 양의 감쇠 재정규화를 함께 제시한다. 대표적인 변형들은 언어 모델링에서 경쟁력을 유지하며, 가변 자릿수 덧셈에서 길이 외삽을 개선한다. 이 프레임워크는 순환 시퀀스 모델에서 시간적 정렬, 가소성, 망각, 그리고 제한된 리허설을 분리한다.

장기적 에이전트 작업에서는 대규모 언어 모델(LLM)이 다중 턴 상호작용에 걸쳐 분산된 정보를 반복적으로 검색, 통합, 유지해야 한다. 그러나 모든 상호작용 이력을 보존하면 작업 컨텍스트가 지속적으로 증가하게 된다. 최근의 능동적 컨텍스트 관리 방법은 모델이 전용 도구를 사용하여 자신의 작업 컨텍스트를 편집할 수 있게 하지만, 여전히 세 가지 주요 한계가 있다. (1) 검색, 삭제, 요약으로 제한되어 전역 계획, 장기 메모리, 적응형 압축을 지원하지 않는 도구 세트, (2) 최종 결과에 미치는 영향이 서로 다름에도 컨텍스트 관리 행동을 균일하게 처리하는 비효율적인 탐색, (3) 강화 학습 중 최종 궤적 수준의 보상을 모든 중간 컨텍스트 편집 행동에 할당하는 조잡한 신용 할당 문제. 이러한 한계를 극복하기 위해, 우리는 장기 에이전트 추론을 위한 능동적 컨텍스트 관리 프레임워크인 ContextPilot을 제안한다. 우리의 접근 방식은 계획, 장기 메모리, 소프트 컨텍스트 오프로딩 도구를 도구 세트에 체계적으로 추가한다. 또한, 컨텍스트 관리에 특화된 강화 학습 방법을 제안한다. 이 방법은 컨텍스트와 엔트로피 변화를 사용하여 분기 샘플링을 위한 중요한 편집 결정을 식별하고, 해당 컨텍스트 편집 행동을 거치는 모든 분기 궤적으로부터 행동 수준의 어드밴티지를 추정한다. 장기 컨텍스트 QA 및 심층 검색 작업에 대한 실험에서 ContextPilot은 더 간결한 작업 컨텍스트로 더 강력한 성능을 달성하며, 다양한 기본 모델과 벤치마크에서 기존 기준선을 일관되게 능가한다. 코드는 https://github.com/Tencent/ContextPilot에서 확인할 수 있다.

시공간 비디오 그라운딩(STVG)은 지시된 사건이 발생하는 시점을 식별하고 해당 시간 구간 전체에 걸쳐 대상 개체의 위치를 특정해야 한다. 기존의 멀티모달 대규모 언어 모델은 일반적으로 밀집된 위치 특정 궤적을 자기회귀적으로 직렬화하므로, 디코딩 지연 시간이 튜브 길이에 따라 증가하고 위치 특정 오류가 시간에 걸쳐 전파될 수 있다. 우리는 병렬 튜브 디코딩(PTD)을 소개한다. PTD는 그라운딩을 시간 블록과 뒤이은 시간 조건부 공간 블록들로 분해하고, 이 공간 블록들을 동시에 디코딩하는 생성적 정식화이다. 이는 토큰 수준 및 궤적 수준 의존성을 모두 제거하여 순차 디코딩 깊이를 튜브 길이와 무관하게 고정된 1+1 라운드로 줄인다. 병렬 공간 생성을 위해, 우리는 공유된 비디오-쿼리 맥락에 대한 접근을 유지하면서 박스 간 의존성을 제거하는 분리 블록 어텐션(Decoupled Block Attention)과, 시간 경계 및 공간 기하에 대한 위치 특정 인식 정책 최적화(localization-aware policy optimization)를 도입한다. VidSTG에서 PTD는 표준 자기회귀 디코딩 대비 튜브 완성 지연 시간(Tube Completion Latency)을 79배 줄이고 공간 디코딩 처리량을 92배 증가시키며, 그라운딩 정확도도 향상시킨다. 컴팩트한 4B 백본으로 우리 모델은 VidSTG와 HC-STVG에서 우수한 성능을 보이고, 시간적 그라운딩, 그라운딩 비디오 QA, 지시적 비디오 객체 추적에 제로샷으로 일반화한다. 우리의 결과는 병렬 튜브 생성이 비디오에서 자기회귀적 위치 특정의 효율적이고 효과적인 대안임을 보여준다.

사실 기반 질의응답(QA)은 일반적으로 단일 표준 답변을 전제로 하므로, 대규모 언어 모델(LLM)이 롱테일(long-tail) 사실에 대해 서로 다른 기술(記述)을 유지하고 있는지가 모호하게 남는다. 이러한 간극을 해소하기 위해, 우리는 감사 가능한(auditable) 그래프 기반 파이프라인을 통해 생성된 1,094개 질문으로 구성된 폐쇄형(closed-book) 지식 프로브인 ElephantBench를 제안한다. 해당 파이프라인은 노출도가 낮은 웹 코퍼스에서 관련 문서를 검색하고, 자연적으로 발생하는 불일치를 식별한 뒤, 이를 다중 기술 QA 레코드로 변환한다. 각 답변은 출처 문서와 권위 있는 공개 웹 소스를 대조해 검증되며, 이후 인간 주석자들의 검토를 거친다. 32개 모델을 대상으로 한 평가에서 가장 강력한 모델조차도 질문의 52.4%에서만 두 기술을 모두 회상했으며, 나머지 거의 모든 질문에서는 한 기술만 회상하고 다른 기술은 누락하는 것으로 나타났다. 모델 규모와 추론 시점 추론(inference-time reasoning)의 확장은 회상률을 개선하지만, 이러한 불완전성을 제거하지는 못한다. 코퍼스 분석은 또한 노출 불균형이 우세한 기술에 유리하게 작용하는 반면, 소수 측의 더 큰 노출은 더 완전한 회상과 연관됨을 보여준다. 이러한 발견은 ElephantBench를 파라메트릭 메모리의 인식론적 근시(epistemic myopia)를 진단하는 재현 가능한 지식 프로브로 확립한다. 보다 포괄적으로, 우리의 그래프 기반 벤치마크 구축 파이프라인은 롱테일 코퍼스를 출처 추적 가능한 지식 프로브로 전환하는 효율적이고 확장 가능한 방식을 제공하며, 차세대 LLM의 인식론적 엄밀성을 평가하고 향상시키기 위한 노력을 지원한다. 코드는 https://github.com/Tencent/ElephantBench에서 확인할 수 있다.

LLM 기반 에이전트는 도구 호출을 통해 외부 환경과 상호작용할 수 있지만, 이러한 능력은 파일 수정, 정보 유출, 무단 작업과 같은 보안 위험도 야기한다. 기존 가드레일은 주로 완료된 궤적을 평가하여, 단계 수준 행동의 실행 전 모니터링은 충분히 연구되지 않았다. 우리는 완료된 에이전트 궤적을 검토하고 도구 행동이 실행되기 전에 확인할 수 있는 단계 수준 가드 모델인 StepGuard를 제안한다. StepGuard를 훈련하기 위해, 위험한 단계에서 동일한 맥락을 가지지만 서로 다른 행동을 수행하는 안전 및 불안전 궤적을 생성하는 자동 데이터 엔진인 StepGen을 도입한다. 과잉 방어와 과소 방어를 더욱 줄이기 위해, 관찰된 정확도에 기반하여 안전한 행동과 불안전한 행동 간의 학습을 동적으로 균형 조정하는 Balance-GRPO를 제안한다. 실험 결과, StepGuard는 오픈 가중치 가드 모델 중 가장 높은 평균 정확도를 달성하며 GPT-5.4에 필적하는 성능을 보인다. AgentDojo와 AgentDyn에서 에이전트를 가드하는 데 사용될 때, StepGuard는 가드가 없는 설정 대비 평균 공격 성공률을 77.3% 감소시키는 반면, 평균 유틸리티는 단 2.8퍼센트 포인트만 감소한다.

이차 주의 메커니즘(quadratic attention)의 특성상, 대규모 언어 모델(LLM)은 많은 메모리와 에너지를 소비한다. 새로운 토큰이 추가될 때마다 이전 토큰보다 더 많은 비용이 발생하며, 토큰이 추가될 때마다 키(key)와 값(value)은 무기한 메모리에 저장되어야 하므로 지속 가능하지 않다. 이러한 이차 확장(quadratic scaling) 문제를 해결하기 위해 여러 대안이 제안되었으며, 그중 하나는 LLM에 선형 주의(Linear Attention)를 적용하는 것이다. 이 아이디어는 낮은 비용으로 최첨단 성능을 유지하면서 이차 확장 문제를 해결할 수 있다는 가능성 때문에 많은 주목을 받아왔다. 그러나 이 연구 방향은 더 단순한 기준 모델(baseline)과 제대로 비교된 적이 없다. 본 연구에서는 싱크(sink)를 포함한 슬라이딩 윈도우 주의(Sliding Window Attention, SWA)가 사후 학습된(post-trained) 선형 주의 모델과 동등하거나 더 나은 성능을 보인다는 것을 입증한다. 우리는 다양한 다운스트림 태스크에서 여러 LLM을 대상으로 이러한 결과를 확인했다. 장기 문맥 추론 태스크(Needle-in-a-Haystack 및 BABILong)에서 SWA는 선형 주의보다 압도적으로 높은 성능(2배에서 10배)을 달성했다. SWA는 사후 학습이 필요 없고, 매우 빠르며, 낮은 메모리를 요구하므로, 매우 저렴하고 신뢰할 수 있는 솔루션이다. 추론 메모리 비용을 줄이기 위해, 우리는 선형 모델을 사후 학습하는 대신 SWA로 전환할 것을 강력히 권장한다. 선형 주의 모델이 어느 정도 가능성을 보여주었지만, SWA와 필적하려면 처음부터 학습하거나 광범위한 사후 학습이 필요할 것으로 보인다.

평가는 정적 QA에서 모델이 외부 도구를 통해 작동하는 에이전트적 환경으로 전환되고 있다. 우리는 이 영역 내에서 중요하지만 충분히 탐구되지 않은 능력, 즉 정교한 시각적 도구 사용(dexterous visual tool use)을 식별한다. 이는 모델이 시각적 증거로부터 도구 매개변수를 추론하고, 해당 매개변수가 최종 결과를 직접적으로 좌우하는 세밀하고 폐루프적인 매개변수화된 시각적 행동을 의미한다. 기존 벤치마크는 웹 내비게이션, GUI 조작, 소프트웨어 엔지니어링을 다루지만, 시각적 증거와 실행 정밀도 간의 이러한 결합을 다루는 경우는 드물다. 우리는 EASEL을 제안한다. EASEL은 정교한 시각적 도구 사용의 통제된 사례를 평가하는 벤치마크로, 참조 안내 시각적 재구성(reference-guided visual reconstruction)을 주요 대리 작업으로 채택한다. 에이전트는 기준 이미지와 일치하도록 캔버스를 점진적으로 페인팅한다. EASEL은 또한 영역 주석, 필기, 경로 계획을 포함하는 의미론적 작업을 포함한다. 나아가 궤적 감독을 위한 44만 개 샘플로 구성된 2단계 커리큘럼 데이터셋인 EASEL-Data와 이 능력에 대한 그 효과를 조사하기 위한 EASEL-9B를 제공한다. 25개 모델에 대한 평가 결과, 현재의 멀티모달 에이전트는 EASEL에서 체계적으로 어려움을 겪는 것으로 나타났다. 재구성 유사도는 낮은 수준(0.40-0.54)에서 병목 현상을 보이며, 궤적 진단은 심각한 폐루프 불안정성을 드러낸다. 모델은 일반적으로 조기에 포화되거나 정점 이후 성능이 저하된다. 의미론적 작업은 정밀 주석 및 경로 계획에서 뚜렷한 능력 경계를 드러낸다. EASEL-Data로 훈련된 EASEL-9B는 기준 모델을 상대적으로 6.3% 능가하며 평가된 모든 모델 중 3위를 차지한다.

비디오 생성을 장시간으로 확장하면 중요한 병목 현상이 드러난다. 현재 모델은 강건한 장기 메모리를 갖추지 못한다. 이러한 결함은 두 가지 핵심 측면에서 분석할 수 있다: 객체가 다시 등장할 때 그 외형을 정확히 재현하는 능력인 객체 영속성(object permanence), 그리고 초장기 컨텍스트를 처리하고 먼 과거의 정보를 활용하는 능력인 메모리 용량(memory capacity)이다. 강건한 장기 메모리에는 이 두 가지가 모두 필요하다. 충분한 컨텍스트 처리가 뒷받침되지 않는 객체 영속성은 시간적 범위를 제한하고, 영속성이 없는 긴 컨텍스트 길이는 객체의 정체성을 유지하지 못한다. 이를 해결하기 위해 우리는 장기 메모리를 강건하게 구축하고 정확하게 활용하도록 설계된 자기회귀 비디오 확산 프레임워크인 Ring Forcing을 제안한다. 우리의 링 구조 학습 전략은 먼 과거로부터의 검색을 강제하여 엄격한 과거 정합성과 생성 다양성 사이의 상충 관계를 효과적으로 균형 맞춘다. 메모리 용량을 확장하기 위해 압축 및 타임스텝 조합 전략을 도입한다. 이 방법은 고정된 시퀀스 길이 제약 하에서 유효 역사 범위를 수 분 길이로 확장하며, 전체 역사에 걸친 포괄적인 수용 영역을 달성한다. 또한 사전 학습된 프라이어를 충분히 활용하면서 유연하고 확장 가능한 메모리 적응을 가능하게 하는 희소 RoPE 메커니즘을 제시한다. 광범위한 실험을 통해 Ring Forcing이 수 분 단위의 일관성과 객체 영속성에서 탁월한 성능을 보이며 최신 기법들을 크게 능가함을 입증한다.

최근 기하 추정을 위한 생성적 접근법들은 사전 학습된 이미지 확산 모델을 적용하여 이 작업을 이미지 조건 생성으로 취급한다. 기성 이미지 확산 모델을 활용하는 이러한 접근법들은 (i) 깊이 및 표면 법선 추정을 위한 작업별 기하 모델을 독립적으로 훈련시켜 이러한 기하 대상들의 내재적 상관관계를 탐구할 기회를 잃거나, (ii) 수정된 이미지 확산 백본(예: 변경된 자기 주의 메커니즘)을 공동으로 미세 조정하는데, 이는 일반적으로 상당한 양의 레이블된 데이터를 요구한다. 이러한 한계를 원칙적인 방식으로 극복하기 위해, 우리는 사전 학습된 비디오 생성 모델을 기하 추정을 위한 통합적이고 데이터 효율적인 프레임워크로 재목적화하며, 이를 혁신적으로 다음 프레임 예측 작업으로 공식화한다. 우리의 방법인 GeoNeXt는 비디오 모델로부터 자연스럽게 구조화된 지식과 더 풍부한 사전 정보를 상속받으며, 이를 이미지와 기하 대상의 공동 모델링(이미지 <-> 기하)에 적응시켜 기하 학습을 더욱 데이터 효율적이고 효과적으로 만든다. 광범위한 실험을 통해 다양한 데이터셋에서 제로샷 단안 깊이 및 표면 법선 추정에 대한 우리의 방법을 검증했으며, 훨씬 적은 훈련 데이터를 사용하면서도 이전의 작업별 및 통합 생성 경쟁 방법들을 능가한다. 특히, 우리의 방법은 100배 이상 많은 데이터로 훈련된 판별적 최신 기법들과 견줄 만하며, 여러 벤치마크에서 두드러진 성능을 보인다.

다중모달 대규모 언어 모델(MLLM)은 긴 시각적 이력을 통합하고, 부분 관측 가능성 하에서 추론하며, 소수의 예시만으로 행동을 추론할 수 있다. 그러나 비전-언어-행동(VLA) 모델은 일반적으로 사전 학습된 표현을 상속받을 뿐, 이러한 맥락적 능력을 에피소드 메모리로 활용하지 않는다. 메모리 의존적 정책은 특수 목적의 이력 메커니즘을 통해 이러한 격차를 해소한다. 반면 PonderPounce는 MLLM의 고유한 인과적 맥락을 로봇 메모리로 재사용한다. System2 MLLM인 Ponder는 에피소드 관측치, 시연, 이전 인지를 고유한 인과적 맥락에 축적하고, 내부 사용을 위한 하위 목표 텍스트와 시연 추론을 생성할 수 있다. System1 VLA인 Pounce는 현재 관측치, 지시, 고유수용감각을 직접 수신하며, Ponder–Pounce 인터페이스를 통해 비동기적으로 가장 최신의 연속 인지 토큰과 그 연령(age)만을 수신한다. 두 모델 모두 특수 목적의 메모리 모듈이나 별도의 브리지 사전 학습 없이 종단 간(end-to-end)으로 공동 학습된다. 최적화된 서빙은 인지 갱신에 78ms, 행동 모델 호출에 25ms의 p50 지연 시간을 달성하여 20Hz 행동 재생을 지원한다. 기본 규모 학습 데이터로 RoboMME에서 PonderPounce는 동일한 Pounce 아키텍처와 인터페이스 하에 9B에서 60.83%, 0.8B에서 50.04%를 달성한 반면, FrameSamp+Modul은 44.51%, 현재 관측치 기반 π_{0.5}는 17.93%를 기록했다. 9배 데이터로는 FrameSamp+Modul의 57.88% 대비 75.54%에 도달한다. RoboCasa-DC에서는 동일한 인터페이스가 행동 감독만으로 학습하여 12.5%를 달성했으며, 이는 가장 강력한 공개 시연 조건부 기준선의 11.6%를 상회한다. 인지가 학습된 널 상태로 대체되면 8.6%로 하락한다.

LLM 에이전트는 점점 더 런타임에서 자신의 프롬프트, 도구, 미들웨어, 리소스, 실행 하네스를 수정한다. 이러한 자기 진화는 능력을 향상시킬 수 있지만, 성공적인 변이는 생성된 상태와 다른 상태에서는 안전하게 되돌릴 수 없는 지속적 효과를 남길 수 있다. 본 논문에서는 반사실적 상태들에서 모델이 생성한 자기 수정의 복구 가능성을 표현, 합성, 진단, 독립 검증하기 위한 프레임워크인 EvoUndo를 제안한다. 600개의 미지의 원샷 자기 진화 태스크에서 복구 가능성 검증에 실패한 197개의 능력 향상 변이를 식별했다. 원래 복구 표현 하에서 기존 수리 전략은 이러한 자연 실패 중 0/197만을 복구한다. 결정적 오라클 분석은 원래 복구 언어 L0에서 48/197을 복구하는 반면, 확장된 복구 계산법은 경험적 오라클 복구율을 191/197로 높인다. 이어서 프로토콜 고정 2x2 그라운딩-표현력 개입은 두 가지 병목을 분리한다: 원래 언어로 충분한 경우 정확한 상태 주소 그라운딩은 성공적 복구율을 0/48에서 38/48(79.2%)로 높이며, 복구 언어 확장은 오라클이 정의한 S1 계층에서 142/143(99.3%)의 실패를 복구 가능하게 한다. 주 백본 모델인 gpt-oss-120b에서는 더 풍부한 언어에 정확한 주소 진단을 추가하면 복구율이 133/143(93.0%)로 감소한다. Qwen3.8-27B 복제 실험은 그라운딩과 표현력 효과를 유지하지만 이러한 부정적 상호작용은 유지하지 않으며, 이는 후자가 모델 의존적임을 시사한다. 이러한 결과는 신뢰할 수 있는 에이전트 자기 진화가 반복적 프롬프팅에만 의존하는 것이 아니라 검증, 상태 그라운딩, 증인 의미론, 복구 언어 표현력의 공동 설계를 요구함을 시사한다.

대화형 웹 애플리케이션 생성은 자연어 요청으로부터 사용 가능한 HTML, CSS, JavaScript 애플리케이션을 생성하는 모델을 요구한다. 기존 코드 생성과 달리, 애플리케이션 품질은 각각 이벤트 핸들러, 상태 업데이트, DOM 조각, CSS 선택자와 같은 국소적 코드 영역에 종종 연계된 여러 사용자 대상 기능 요구사항에 의존한다. 표준 GRPO는 이러한 구조화된 결과를 단일 시퀀스 수준 보상으로 축소하고, 도출된 어드밴티지를 모든 토큰에 균일하게 적용함으로써 신용 할당을 약화시킨다. 본 논문에서는 루브릭 수준의 기능적 피드백을 생성된 코드에 대한 국소적 최적화 신호로 변환하는 강화 학습 프레임워크인 루브릭-코드 신용 할당(Rubric-to-Code Credit Assignment, RCCA)을 제안한다. RCCA는 명시적 기능적 루브릭을 중심으로 훈련 작업을 구성하고, 계층적 보상을 통해 형식, 소스 코드, 런타임, 기능적 오류를 분리하며, 평가자가 생성한 텍스트 귀속을 해당 기능과 연관된 코드 구간 및 생성된 토큰과 정렬한다. 결과 모델인 Ling-RCCA-Flash는 MiniAppBench에서 41.25점을 기록하여 Ling-3.0-Flash를 32.20점 개선했으며, Claude Opus 4.5를 소폭 상회한다. 또한 ArtifactsBench에서 76.19점을 달성하여 SFT 모델을 4.48점 개선하고, 공식 ArtifactsBench 리더보드 설정에서 GPT-5 점수를 3.64점 상회하는 새로운 최고 점수를 수립함으로써 전이 가능한 구현 수준의 성과를 시사한다.

대규모 언어 모델의 정렬은 영어 중심의 고품질 선호 데이터에 크게 의존하며, 이로 인해 다른 언어에서는 최적에 못 미치는 성능이 나타나곤 한다. 본 논문에서는 영어의 강건한 선호 지식을 활용하여 목표 언어의 선호 정렬을 촉진하는 새로운 프레임워크인 교차언어 순위 선호 최적화(CRPO)를 제안한다. 우리는 목표 언어와 영어 사이의 병렬 선호 쌍 내에 계층적 구조를 설계하여 언어 내(intra-lingual) 및 언어 간(inter-lingual) 선호를 공동으로 최적화함으로써 언어 적응과 출력 품질을 향상시킨다. LambdaLoss 프레임워크를 기반으로 하는 CRPO는 이진 비교 기반 최적화를 넘어 여러 후보 응답에 걸친 상대적 순위 신호를 제공한다. 다양한 자원 규모의 다섯 언어에 걸친 실험에서 CRPO는 지시 수행 능력과 지식 활용 능력 모두에서 표준 접근법을 일관되게 능가한다. 특히 다양한 가중치 체계에서 관찰된 강건한 성능 향상은 다국어 설정에서 우리의 계층적 설계의 실증적 효과를 더욱 뒷받침한다. 또한, CRPO가 보상 마진과 바람직한 응답의 로그 확률을 모두 크게 개선하여 교차언어 정렬을 위한 보다 안정적인 선호 다양체에 기여한다는 점을 확인한다. 우리의 코드는 https://github.com/dltmddbs100/CRPO에서 확인할 수 있다.

우리는 생성 사실의 출처, 실현된 변환, 구체적 발생, 생성 결과 및 관계 역할을 기록하는 원자적 생성 사실 f=(u,tau,omega,z;rho)를 정의한다. 생성 사실 그래프(GFG)로 컴파일된 이러한 사실들은 생성 이력을 보존하는 AI-네이티브하고 컴파일 가능한 과학적 사실 기반을 제공한다. 우리는 분석, 개입, 재연 및 검증이 이후 사이클을 위한 사실을 형성하는 GFG 기반 재귀적 과학 프로세스를 확립한다. 나노GPT를 사용하여 우리는 통합된 훈련-학습 동역학을 확립한다. 훈련은 상태와 메모리를 갖는 파라미터-옵티마이저 시스템의 진화로, 각각의 실제 훈련 행동은 수신 상태에 진입하며 해당 상태와 타겟 특정 업데이트 기하에 의해 조건화된 유한 진폭 비선형 함수적 반응을 생성한다. 학습은 이러한 반응들에 의한 분산 기능적 지원의 지속적 재조직이며, 능력 형성, 유지, 쇠퇴 또는 회복은 타겟 특정 상태가 판독 경계에 대해 평가될 때 관찰 가능해진다. 타겟 경계 상태, 타겟 특정 업데이트 기하 및 파라미터-Adam 수신 상태라는 세 가지 주요 좌표는 업데이트 후 출력이 판독되기 전에 작동하는 2차 예측기를 산출한다. 보류된 실행에서 이 예측기는 네 가지 전이에 걸쳐 91.43%의 정확도와 91.49%의 매크로 평균 재현율을 달성했다. 우리는 나아가 추론을 훈련-학습 동역학의 고정 투영으로 확립한다. 구성요소 게이팅과 롤백은 훈련 중 형성된 쿼리 조건화 지원의 인과적 모집과 비가산적 결합을 보여주며, 어텐션에 의해 실현되는 조직적 조건을 도출한다. 통제된 피드백은 가능한 양날의 강화 효과를 시사한다. ResNet/CIFAR-100 및 확산/CIFAR-10 실험은 나노GPT를 넘어서는 수신 상태 조건화 반응, 지속적 지원 재조직 및 고정 추론 투영을 확인한다.

대규모 언어 모델(LLM)은 점점 더 계층적 방어와 함께 배포되지만, 악의적인 프롬프트는 여전히 이를 우회할 수 있다. 해석 가능성 방법은 생성 경로를 따라 집행에 정보를 제공할 수 있는 모델 내부 신호를 드러낼 수 있지만, 이러한 신호는 그 자체로 보안 통제가 아니다. 이를 안전을 위해 적용하는 배포 환경은 일반적으로 각 신호를 자체 보정, 정책 로직, 개입 코드와 결합하므로, 새로운 산출물이 생길 때마다 공유 방어를 강화하는 대신 통합 작업을 낳는다. 우리는 리눅스 보안 모듈(LSM)의 기반 분리를 LLM 서빙에 적용한 보안 프레임워크인 언어 모델 보안 모듈(LMSM)을 제시한다. LMSM에서는 선택된 보안 백엔드가 보정된 증거를 노출하고, 버전 관리되는 정책이 신뢰 가능한 요청별 컨텍스트에 대해 활성 규칙을 평가하며, 별도의 게이트가 버퍼링된 출력 릴리스를 승인한다. 이 설계는 중재 정확성과 정책 효과성을 분리하며, 요청 처리나 집행을 재구축하지 않고도 백엔드, 규칙, 일정 변경을 가능하게 한다. 우리의 프로토타입은 이러한 분리가 실제로 작동함을 보여준다. Hugging Face Transformers와 연속 배치 vLLM 하에서 동일한 기반은 산출물 기반 희소 오토인코더(SAE) 및 트랜스코더 배포와 작업 맞춤형 밀집 프로브를 호스팅하고, 스케줄러 변동에도 요청별 결정을 보존하며, 요청당 여러 규칙을 선택적으로 집행하고 구성한다. Qwen3-4B에서 LMSM-Checkpoint는 HarmBench 공격 성공률을 39.20%에서 3.32%로 낮추고, XSTest 오탐 거부율은 2.40%에서 4.40%로 상승하지만, 32개 활성 시퀀스에서 모니터링 작업을 수행하지 않는 동일 구성의 서빙 경로 처리량 중 98.14%를 유지한다. LMSM은 해석 가능성과 모델 내부 분석의 발전에 런타임 집행을 위한 공통 경로를 제공한다.

대화에서 건강 오정보를 교정하는 일은 사실 기반의 반박을 제시하는 것 이상을 요구한다. 사용자는 아는 내용, 믿는 내용, 그리고 들어야 할 내용이 서로 다르기 때문에, 효과적인 개입은 종종 올바른 명확화 질문을 먼저 던지는 데 달려 있다. 그러나 기존 방법은 즉시 응답하거나 무차별적으로 탐색할 뿐, 명확화를 불필요하거나 항상 유익한 것으로 취급한다. 우리는 질문하는 것이 비용만한 가치가 있는 시점을 학습하는 보상 최적화 탐색-응답(RO-PnR) 프레임워크를 제안한다. 각 턴에서 RO-PnR은 추가 정보 탐색과 최종 교정 확정 사이를 선택하며, 탐색의 기대 이득을 상호작용 비용과 비교하는 턴 단위 보상에 따라 움직인다. 사용자 이질성이 탐색 가치에 미치는 영향을 포착하기 위해, 우리는 각 시뮬레이션 사용자를 건강 문해력과 신념 고착도를 축으로 하는 잠재 상태로 모델링한다. 실험 결과, RO-PnR은 세 가지 건강 오정보 데이터셋과 세 가지 기본 모델 전반에서 가장 높은 비용 조정 효용을 달성하며, 항상 탐색하는 기준선보다 30% 적은 턴을 사용한다.

대화형 게임은 정적 벤치마크가 대체로 암묵적으로만 평가하는 능력을 시험한다. 즉, 모델은 턴에 걸쳐 상태를 유지하고, 피드백을 해석하며, 변화하는 제약 조건 하에서 유효한 행동을 선택해야 한다. 우리는 LM Playschool Challenge에서 2B 오픈 가중치 모델을 사용하여 이러한 설정을 연구했으며, 많은 실패가 단순한 광범위한 지식 부족뿐 아니라 국소적 의사결정 실패, 즉 반복된 추측, 잘못된 형식의 행동, 그리고 모델이 방금 확인한 피드백을 위반하는 행위에서 비롯됨을 발견했다. 이러한 진단은 세 단계로 구성된 훈련 방식을 정당화한다: 지도 미세 조정을 통한 광범위한 게임 참여 획득, 특정 대화 게임 계열 내에서 턴 단위 선호도 쌍을 활용한 기계적으로 검증 가능한 실패의 교정, 그리고 이러한 대화 게임을 넘어선 일반 능력의 보존. 공식 최종 평가에서 우리의 제출물은 공개 clemscore를 10.67에서 38.92로, 비공개 인도메인 점수를 13.41에서 41.17로 개선했으며, 집계 기준 정적 성능은 대략 유지했다(기준 모델 44.24 대비 44.14). 아웃오브도메인 clemscore는 7.88로 여전히 낮았으며, 가장 큰 개선은 대상 계열의 보지 못한 변형에서 집중적으로 나타났다. 우리의 결과는 광범위한 SFT가 모델 성능 향상의 대부분을 가져오며, 실패 탐지가 정밀할 때 턴 단위 국소적 감독이 효과적일 수 있고, 관찰된 전이는 주로 계열 내부에 집중됨을 시사한다.

생성형 비전-언어 모델(VLM)은 인간 중심 환경에서 점점 더 널리 사용되고 있지만, 이미지가 인지된 인종이나 성별과 같은 통제된 속성에서만 차이가 나는 경우에도 인구통계적으로 편향된 출력을 생성할 수 있다. 그러나 기존의 추론 시점 편향 제거 기법들은 대부분 생성형 VLM보다는 정적 임베딩이나 CLIP 유사 모델을 위해 설계되었다. 우리는 노름을 보존하는 개입 방식인 GGSS(Geodesic-Gated Spherical Steering)를 제안한다. GGSS는 단위 초구에서 반사실적 편향 부분공간을 발견하고, 시각 토큰을 측지선 호를 따라 스티어링하며, 더 강한 인구통계적 신호를 지닌 토큰에 보정을 집중하기 위해 적응형 게이트를 사용한다. 우리는 단일 동작점 프로토콜 하에서 범주형, 쌍별, 직업-성별 편향 테스트에 걸쳐 4개의 생성형 VLM을 적응된 10개의 추론 시점 편향 제거 기준선 및 프롬프트 기반 완화와 비교 평가하고, 동시에 일반적인 시각-언어 능력도 측정한다. GGSS는 네 모델 모두에서 가장 낮은 평균 편향을 달성했으며, 대응 순열 검정에서 네 개의 백본 중 세 개에서 통계적으로 유의미한 결과를 보였다. 또한 스티어링하지 않은 기준선 대비 MMStar 정확도를 ±0.6퍼센트포인트(p.p.) 이내로 유지했다. 코드는 https://github.com/dukesun99/GGSS에서 확인할 수 있다.

추출적 프롬프트 압축은 정보량이 낮은 토큰을 제거하여 LLM 추론 비용을 절감할 것을 약속하며, LLMLingua-2와 같은 학습 기반 압축기는 영어 벤치마크에서 강력한 결과를 보고한다. 대부분의 다른 언어는 이미 토큰 프리미엄을 지불하고 있다. 동일한 내용이 영어보다 1.3~1.8배 더 많은 토큰을 소비한다. 우리는 압축이 이 격차를 좁히는지, 아니면 확대하는지를 묻는다. 5개 문자 체계에 걸친 10개 언어의 완전 병렬 데이터와 대상 모델의 토크나이저로 토큰 예산을 일치시킨 대조군을 사용하여, 우리는 10개 업체의 11개 대상 모델에 대해 4개의 학습 기반 압축기를 4개의 결정론적 기준선과 대조 평가했다(총 25만 회 이상의 평가 호출). 압축기 중 3개는 영어 지도로 훈련되었다(LLMLingua-2 XLM-R/mBERT, 프로덕션 Headroom 스택의 Kompress-v2). 네 번째인 XProvence는 다국어로 훈련되었다. 첫째, 전이 격차는 실재하며, 대상 모델과 압축기 백본에 걸쳐 재현되고, 비율에 크게 의존한다. 유지 비율 0.33에서 영어는 정규화된 컨텍스트 활용도의 57~62%를 유지하는 반면, 리투아니아어는 10~24%, 중국어는 사실상 0%를 유지한다. 중국어는 토큰 프리미엄이 가장 작음에도 불구하고 그렇다. 둘째, 이 격차는 아키텍처가 아니라 압축 지도 데이터를 따라간다. 영어 지도로 훈련된 3개의 압축기 모두에서 나타나며, 결정론적 방법에서는 이에 필적할 만한 격차가 없고, 다국어로 훈련된 XProvence v1에서는 전혀 나타나지 않는다. 이 압축기의 v2 버전은 번역된 데이터로 재훈련되었는데, 공격적인 임계값에서 아무런 경고 없이 중국어 컨텍스트의 92%를 비워 버린다. 셋째, 더 어려운 장문 컨텍스트 설정에서 공격적인 학습 기반 압축은 5개 비영어 언어 중 3개에서 압축된 컨텍스트를 컨텍스트가 없을 때의 효용과 같거나 그 이하로 떨어뜨린다. 번역 후 압축 파이프라인은 테스트한 5개 언어 중 3개에서 대략 절반의 토큰 비용으로 네이티브 압축과 비슷하거나 더 나은 성능을 보인다. 우리는 모든 코드, 압축 결과물, 모델 출력을 공개한다. 안전한 압축 예산은 영어 외 언어에서 훨씬 더 작다.

야외 라이다 의미론적 장면 완성(SSC)은 대상 체적의 1%만 관측하는 스캔으로부터, 7,000배를 초과하는 클래스 불균형 하에서 밀집 의미론적 복셀 격자를 복원한다. 우리는 SSC를 생성적 의미론적 장면 완성(GSSC)으로 재구성한다: 세 가지 역할을 수행하는 단일 이산 확산 정식화. 첫째, 쌍을 이룬 희소-밀집 장면 합성(PS^3)은 정합된 희소 라이다 관측값과 그에 대응하는 밀집 의미론적 완성 결과를 생성하여, 긴 꼬리(long tail) 문제를 원천적으로 해결하고 학습 시 SemanticKITTI와 함께 사용하는 PS^3-SemanticKITTI 코퍼스를 산출한다. 둘째, 의미론 유도 생성적 장면 완성(SGSC)은 조감도 의미론적 지도와 희소 3D 특징 스트림을 통해 희소 스캔을 조건으로 삼아, 다항 이산 확산을 이용해 노이즈로부터 장면을 생성한다. 셋째, 동일한 프레임워크는 대신 구조화된 소스 이산 확산(S^2D^2)으로서 기존 완성 결과를 하나의 플로우 매칭 단계로 정제한다. S^2D^2는 기반 모델의 재학습이나 테스트 시 적응 없이 SGSC의 자체 출력과 테스트된 모든 외부 SSC 기반 모델의 mIoU를 향상시킨다. 가장 강력한 기반 모델에 대해 테스트 시 증강 없이 단일 단계만 적용하면 SemanticKITTI 비공개 테스트에서 38.8% mIoU를 달성한다. 우리가 아는 한, 이는 해당 리더보드에서 인과적(causal)이고 단일 스캔(single-sweep)이며 단일 샘플(single-sample) 조건을 만족하는 최고 결과로, 동일 제약 조건 하에서 이전에 발표된 최고 점수보다 +2.1퍼센트 포인트 높은 수치이다. 8개 시점 테스트 시 증강을 적용한 4회의 보정 단계는 해당 제약 조건 밖에서 39.2%에 도달한다.