일간 논문

현대 AI 에이전트의 능력은 기반 모델뿐만 아니라 프롬프트를 구성하고, 상태를 관리하며, 도구를 호출하고, 실행을 조정하는 하네스(harness)에도 의존합니다. 모델, API, 환경 및 요구사항이 진화함에 따라 하네스는 지속적으로 수정되어야 합니다. 이러한 변경을 수행하기 전에 개발자나 코딩 에이전트는 대상 동작을 구현하는 모든 코드 위치를 식별해야 합니다. 이는 프로덕션 하네스가 크고, 강하게 결합되어 있으며, 동작이 분산되어 있는 반면, 수정 요청은 시스템이 수행해야 할 작업을 설명하고 저장소는 파일과 모듈별로 구성되어 있기 때문에 어렵습니다. 코드 검색, 저장소 인덱싱 및 장문맥 처리는 검사를 용이하게 하지만, 여전히 이러한 동작-코드 매핑을 수동으로 복구해야 합니다. 따라서 동작 위치 파악(behavior localization)은 하네스 진화의 핵심 병목 현상입니다. 우리는 하네스 핸드북(Harness Handbook)을 소개합니다. 이는 정적 분석과 LLM 지원 구조화를 통해 하네스 코드베이스로부터 자동으로 합성된 동작 중심 표현으로, 각 동작을 해당 소스에 연결합니다. 또한 행동 유도 점진적 공개(Behavior-Guided Progressive Disclosure, BGPD)를 소개합니다. 이는 에이전트를 높은 수준의 동작에서 관련 구현 세부 사항으로 안내하고 후보 위치를 현재 소스와 대조하여 검증합니다. 두 개의 오픈소스 하네스에서 얻은 다양한 수정 요청에 대해, 핸드북 지원 계획(Handbook-Assisted planning)은 더 적은 플래너 토큰을 사용하면서 동작 위치 파악 및 편집 계획 품질을 향상시키며, 분산된 사이트, 거의 실행되지 않는 경로 및 모듈 간 상호작용에서 가장 큰 이점을 보입니다. 따라서 복잡한 에이전트 시스템을 진화시키는 것은 편집을 생성하는 것뿐만 아니라 해당 편집이 어디에서 이루어져야 하는지를 결정하는 데 달려 있습니다.

Boogu-Image-0.1을 소개합니다. 이는 Base, Turbo, Edit, Edit-Turbo 변형으로 구성된 오픈소스 통합 다중 모달 이해 및 생성 모델 제품군입니다. 고품질 텍스트-이미지 생성, 빠른 추론, 명령 기반 편집, 이중 언어(중국어-영어) 텍스트 렌더링에서 경쟁력 있는 성능을 제공합니다. Nano-Banana-Pro 및 GPT-Image-2와 같은 폐쇄형 다중 모달 시스템은 단일 모델이 아닌 시스템 수준 통합을 통해 강력한 성능을 달성하지만, 내부 관행은 대부분 공개되지 않은 상태입니다. 본 연구에서는 모델 이해도, 데이터 품질 및 훈련 파이프라인의 목표 지향적 개선과 에이전트적 추론 시간 확장을 결합하면 매우 제한된 연산 예산 하에서도 생성 및 편집 성능을 실질적으로 향상시킬 수 있음을 입증합니다. 종합 평가 결과, Boogu-Image-0.1은 표준 벤치마크에서 다른 오픈소스 모델과 일관되게 일치하거나 능가하며, 주요 폐쇄형 시스템에 근접한 결과를 달성합니다. 특히 이는 단 2억 862만 개의 고유 이미지만으로 이루어졌습니다. 기본 모델의 이론적 훈련 비용은 약 40만 달러에 불과합니다. 본 연구는 더 넓은 연구 커뮤니티에 가치가 있다고 판단되는 실용적 논의를 공유하며, 통합 다중 모달 이해 및 생성을 위한 개방형 생태계 발전을 위해 가중치, 코드 및 레시피를 Apache 2.0 라이선스로 공개합니다. 코드는 다음에서 확인할 수 있습니다: https://github.com/Boogu-Project/Boogu-Image.

인간 주석 데이터 없이 검증 가능한 보상을 활용한 강화 학습, 흔히 제로 RL이라 불리는 접근법이 사고 사슬 추론을 이끌어내는 강력한 패러다임으로 부상했다. 그러나 계산적 제약으로 인해 기존 연구는 대부분 소규모 모델에 국한되어 있으며, 대규모에서의 훈련 동역학과 창발적 능력은 아직 탐구되지 않았다. 이 경계를 의미 있게 탐구하기 위해 우리는 모델로부터 고품질 추론 행동을 이끌어내는 것을 목표로 한다. 그러나 단순한 확장은 종종 가독성 저하, 토큰 중복, 적응적 추론 깊이의 부재로 이어짐을 발견했다. 이러한 문제를 해결하기 위해 우리는 클리핑된 중요도 샘플링, 훈련-추론 비율 보정, 혼합 정밀도 제어와 같은 알고리즘 및 시스템 최적화를 통합한 안정적이고 효율적인 훈련 파이프라인을 제시한다. 실험을 통해 확장의 "쓴 교훈"을 검증하는 세 가지 핵심 발견을 얻었다: (1) 1조 파라미터로의 확장이 샘플 효율성과 성능 상한을 크게 향상시킨다; (2) 훈련 과정이 초기 발견 단계와 이후 정밀화 단계를 순차적으로 거친다; (3) 모델이 의인화, 구조적 형식화, 자가 검증, 병렬 추론, 맥락 불안 등 고급 인지 행동을 자발적으로 발현하여 수작업 휴리스틱을 불필요하게 만든다. 7가지 수학 벤치마크에서 평가한 결과, Ring-2.5-1T-Zero는 경쟁력 있는 성능을 달성했다. 또한 최종 정답 정확성을 넘어 CoT 품질을 평가하기 위해, 이해 가능성, 재현 가능성, 효율성의 세 가지 차원에 걸친 구조화된 평가 프레임워크를 제안하며, 본 모델이 구조화되고 간결한 추론 흔적을 생성하는 데서 뚜렷한 이점을 보임을 입증한다. 관찰된 창발 현상을 공유함으로써, 특히 1조 규모에서의 확장 행동에 대한 더 깊은 통찰을 학계에 제공할 수 있기를 기대한다.

OpenClaw는 복잡한 작업 자동화를 위한 선도적인 에이전트 프레임워크로 부상했지만, 불충분한 크로스 플랫폼 GUI 상호작용 지원과 견고한 자기 진화 메커니즘 부재라는 한계를 지닌다. 이러한 결함은 다양한 기기 생태계에 대한 적응을 제한하고 실행 경험으로부터의 지속적 학습을 통한 성능 개선을 저해한다. 이러한 문제를 해결하기 위해, 우리는 개인 비서를 위한 '심층 인지, 완벽 행동' 패러다임을 제안한다. 이 패러다임은 누적된 사용자 상호작용 및 작업 실행 경험이 실행 정확성과 효율성을 직접적으로 향상시켜 인지 이해와 운영 실행을 통합한다고 주장한다. 이 패러다임에 기반하여, 우리는 OpenClaw의 GUI 조작 결함을 해결하고 크로스 플랫폼 및 재귀적 자기 개선 제약을 돌파하기 위해 설계된 새로운 Know-Route-Act-Reflect 프레임워크인 KnowAct-GUIClaw를 소개한다. 첫째, 호스트 에이전트는 축적된 상호작용 경험과 작업 관련 지식을 활용하여 장기적인 작업 분해 및 할당을 수행한다(인지 단계). 둘째, 경험 귀속 메모리 시스템(인지 단계)과 자기 진화적 스킬 라이브러리(행동 단계)를 갖춘 플러그형 GUI 하위 에이전트는 원활한 크로스 플랫폼 마이그레이션과 고속 경로 통합을 가능하게 한다. 특히, 이 프레임워크는 사용자 프로필과 피드백을 지속적으로 저장하여 작업 분해 및 도구 호출의 정확성을 향상시킨다. Android, iOS, HarmonyOS 및 Windows를 대상으로 한 광범위한 실험을 통해 KnowAct-GUIClaw가 뛰어난 효율성, 정확성 및 크로스 플랫폼 적응성을 달성함을 보여준다. 특히, 오픈소스 Kimi-2.6 모델을 사용한 GUIClaw는 장기적인 MobileWorld 벤치마크에서 최고 성능(64.1%)을 기록하여 Seed-2.0-Pro 및 GPT-5.5와 같은 모든 에이전트 프레임워크 및 폐쇄형 소스 에이전트 모델을 능가한다. 또한, 당사 프레임워크가 지원하는 지식 기반 메모리 및 실행 스킬은 다양한 기본 모델 간에 전이 가능하며, Kimi-2.6을 사용하여 8.5%의 성능 향상을 보인다.

우리는 OvisOCR2, 0.8B 문서 파싱 모델을 소개합니다. OvisOCR2는 엔드투엔드 파서로 설계되었습니다. 문서 페이지 이미지가 주어지면 자연스러운 읽기 순서로 텍스트, 수식, 표, 시각적 영역을 포함하는 마크다운 표현을 생성합니다. 우리는 필터링된 실제 문서 주석과 동일한 HTML 소스에서 렌더링된 이미지와 마크다운 대상이 파생된 합성 페이지를 결합하는 데이터 엔진을 구축합니다. 훈련 레시피에는 지도 미세 조정, 다중 구성 요소 보상 설계를 사용한 4B 브랜치에 대한 강화 학습, 0.8B 모델로의 온-폴리시 증류, 모델 융합이 포함됩니다. OmniDocBench v1.6에서 OvisOCR2는 최첨단 전체 점수 96.58을 달성하여 이전에 파이프라인 방법이 지배했던 리더보드에서 엔드투엔드 모델을 최상위에 올려놓았으며, 엔드투엔드 문서 파싱의 잠재력을 강조합니다. PureDocBench에서 OvisOCR2는 또한 가장 높은 Avg3 점수 75.06을 달성합니다. 이 두 공개 벤치마크 외에도, 우리는 더 넓은 범위의 롱테일 및 도전적인 시나리오를 다루도록 설계된 사내 벤치마크에서 OvisOCR2를 평가합니다. OvisOCR2는 비교된 방법 중 최고의 전체 성능을 얻어 일반화 및 견고성에 대한 추가 증거를 제공합니다. OvisOCR2는 https://huggingface.co/ATH-MaaS/OvisOCR2에서 이용 가능합니다.

이미지 가드레일은 일반적으로 고정된 안전 정책 하에서 훈련 및 평가되며, 안전성을 이미지의 내재적 속성으로 암묵적으로 간주한다. 실제 배포 환경은 다르다. 동일한 이미지가 한 제품에서는 허용되지만 다른 제품에서는 제한될 수 있으며, 정책 경계가 변경되면 새롭게 금지될 수 있다. 본 연구에서는 모델이 현재 제공된 정책을 위반하는 이미지인지 판단하고, 보유하지 않은 정책 정의로 일반화해야 하는 정책 적응형 이미지 가드레일링을 연구한다. 우리는 PolicyShiftBench를 도입한다. 이는 265개의 이미지에 걸쳐 2,000개의 정책 판별 인스턴스를 포함하는 포괄적인 벤치마크로, 각 이미지는 평균 7.55개의 정책 조건부 프롬프트와 쌍을 이루어 모델이 이미지 수준의 안전성 사전 지식에 의존하지 않고 활성 정책에 적응하는지 테스트한다. 다음으로 PolicyShiftGuard를 제안한다. 이는 무작위 정책 SFT(RP-SFT)와 경계 쌍 정책 적응(BP-Adapt)을 결합한 2단계 훈련 방식을 통해 학습된 소형 정책 조건부 가드레일이다. BP-Adapt는 동일한 이미지와 위험 범주에 대해 일치된 프롬프트를 표준 레이블 지도 학습과 차단 정책과 통과 정책을 구분하는 쌍별 비교 손실(pairwise comparison loss)을 사용하여 훈련한다. 실험 결과, 기존 VLM과 특수 가드레일은 정책 변화에 취약한 반면, PolicyShiftGuard는 정책 민감 성능을 크게 향상시킨다. 7B 모델은 PolicyShiftBench에서 평균 F1 76.9, 평균 PSS 72.1로 최고 성능을 달성하고, UnSafeBench 및 SafeEditBench로 잘 전이되며, 간결한 출력 형식으로 지연 시간-성능 트레이드오프를 개선한다. 절제 실험은 일치된 통과/차단 경계 쌍이 안정적인 정책 적응에 필수적임을 확인한다.

현재의 시각 생성 모델은 고품질 콘텐츠를 생성할 수 있지만, 공간 구조에 대한 일관된 인식이 부족하다. 기존의 생성적 신규 시점 합성 방법은 일반적으로 명시적 기하학 사전 정보를 도입하여 공간 일관성을 강화하지만, 큰 시점 변화에서는 본질적으로 일반화를 제한한다. 반면, 최근의 대화형 생성 방법은 암시적 장면 모델링을 선호하여 정밀한 카메라 제어와 기하학적 일관성을 희생하는 대신 더 큰 유연성을 제공한다. 본 논문에서는 단일 이미지로부터 큰 시점 변화 하에서 렌더링을 가능하게 하는 확산 기반 단안 신규 시점 합성 프레임워크인 MetaView를 제안한다. 우리의 핵심 통찰은 암시적 기하학 모델링과 최소한이지만 필수적인 명시적 3D 단서를 결합하는 것이다. 즉, 피드포워드 기하학 인식 네트워크로부터 암시적 기하학 사전 정보를 통합하여 제한적인 재구성 파이프라인을 부과하지 않고 구조를 정규화하는 동시에, 메트릭 깊이를 활용하여 생성을 메트릭 스케일로 고정한다. 이러한 설계를 통해 MetaView는 기하학적 일관성과 정밀한 제어 가능성을 모두 달성할 수 있다. 광범위한 실험을 통해, 도전적인 단안 대규모 시점 변화 하에서 MetaView가 기존 방법들을 크게 능가하며 우수한 일반화 성능을 보임을 입증한다. 우리의 코드는 https://github.com/KlingAIResearch/MetaView에서 공개적으로 이용 가능하다.

세계 행동 모델(World Action Models, WAMs)은 행동과 미래 시각 관측을 공동으로 모델링하고, 미래 장면의 변화를 물리적 기반 행동 생성을 위한 조밀한 감독 신호로 사용하여 로봇 정책 학습을 향상시킨다. 그러나 기존 WAM의 일반적인 설계는 추론 시 미래 비디오를 명시적으로 생성하므로 상당한 계산 오버헤드가 발생하고 실시간 폐쇄 루프 배포를 방해한다. GigaWorld-Policy는 행동 중심 공식화를 통해 이 문제를 해결하며, 훈련 중에는 미래 시각 역학을 사용하고 추론 시에는 행동 전용 디코딩을 사용한다. 이 프레임워크를 기반으로, 우리는 보다 효율적인 로봇 제어를 위해 설계된 향상된 행동 중심 WAM인 GigaWorld-Policy-0.5를 제시한다. 사전 학습 중 GigaWorld-Policy-0.5는 혼합된 행동 조건부 세계 모델링(Action-Conditioned World Modeling, AC-WM) 및 WAM 학습 전략을 채택한다. 이를 통해 시각 역학과 로봇 행동 간의 결합을 강화하고 하위 정책 학습을 위한 행동 표현의 전이 가능성을 향상시킨다. 효율적인 추론을 위해 GigaWorld-Policy-0.5는 Mixture-of-Transformers 아키텍처를 도입하여 시각 역학 모델링과 행동 생성을 전문화된 전문가로 분리함으로써, 행동 전용 추론 중 활성 계산을 줄이고 로컬 RTX 4090 설정에서 85ms의 추론 지연 시간을 달성한다. 또한, 에이전트 기반 AutoResearch 파이프라인을 사용하여 훈련 구성을 체계적으로 탐색함으로써, 하이퍼파라미터 튜닝에 필요한 시간과 수동 개입을 줄이면서 최적의 실험 설정을 보다 효율적으로 식별할 수 있다. 실험 및 절제 연구는 GigaWorld-Policy-0.5가 로봇 제어를 위한 추론 효율성을 향상시키면서 미래 시각 역학의 훈련 이점을 유지함을 보여준다.

비전 트랜스포머(ViT)는 높은 노름(norm)을 가진 패치 토큰 이상치(outlier)를 나타내어 특징 맵 품질을 저하시키는 것으로 알려져 있으며, 이 문제는 레지스터 토큰(register token)에 의해 효과적으로 완화됩니다. 확산 모델이 점차 트랜스포머 아키텍처를 채택하고 픽셀 공간 학습으로 나아감에 따라, 이들은 형태적으로 ViT에 더 가까워지며, 레지스터 토큰이 확산 트랜스포머(DiT)에도 유용한지에 대한 의문이 제기됩니다. 본 연구에서 우리는 DiT가 ViT와 중요한 측면에서 다르다는 것을 보여줍니다. 즉, DiT는 패치 토큰 이상치를 나타내지 않지만 레지스터의 이점을 여전히 누립니다. 흥미롭게도, 레지스터는 잠재 공간 DiT보다 픽셀 공간 DiT에서 더 효과적입니다. 중간 표현을 분석함으로써, 레지스터 토큰이 높은 노이즈 수준에서 더 깨끗한 특징 맵을 생성하며, 이는 픽셀 공간 생성에서의 효과성에 기여할 수 있음을 발견했습니다. 우리는 또한 최근의 픽셀 공간 DiT 아키텍처가 암시적으로 레지스터와 유사한 메커니즘을 포함하고 있으며, 이것이 강력한 경험적 성능을 부분적으로 설명할 수 있음을 관찰합니다. 이러한 관찰에 기반하여, 우리는 시각적 구조와 일관성을 개선하는 데 기여하는 레지스터 토큰의 기여를 증폭시키는 기술인 레지스터 가이던스(Register Guidance)를 제안합니다.

자기 개선 자율 에이전트는 연구 프로토타입에서 배포된 시스템으로 전환되고 있다. 주요 목표는 인간의 개입을 최소화하거나 전혀 없이 경험을 통해 제어 가능한 진화, 즉 적응에 있다. 본 논문은 현대의 자기 개선 에이전트를 경험을 축적된 능력 향상으로 전환하는 적응형 시스템으로 개념화한다. 우리는 프롬프트, 메모리, 도구 및 제어 논리로 구성된 운영 스캐폴드(operational scaffold)와 기반 모델(foundation model)을 결합한 구성(configuration)으로 현대 에이전트를 표현하는 시스템 수준 프레임워크를 제시한다. 이 프레임워크 내에서 자기 개선은 모델 매개변수 또는 스캐폴드 구성 요소에 대한 업데이트를 획득하고 적용하는 자기 유도 업데이트 연산자(self-induced update operator)로 공식화된다. 우리는 업데이트 대상과 변화를 유도하는 신호에 따라 기존 연구를 정리하고, 응용 사례를 검토한 후 평가에 대해 논의한 다음, 미해결 문제와 향후 방향을 제시하며 마무리한다. 편의를 위해 https://github.com/selfimproving-agent/awesome-Self-Improving-Agents에서 기술 업데이트를 추적한다.

최근 3D 생성 분야의 발전으로 인상적인 시각적 합성이 가능해졌지만, 기존 방법들은 종종 기하학적 일관성을 위한 명시적 메커니즘 없이 2D 확산 감독에 의존하여 중복 구조나 정렬되지 않은 기하학과 같은 공간적 환각을 초래한다. 이러한 문제는 4D 생성에서 더욱 심각해지는데, 시점 간 및 시간적 진화에 따른 일관성 유지가 떨림, 정체성 깜빡임, 구조적 표류와 같은 추가적 과제를 도입하기 때문이다. 본 논문에서는 3D 및 4D 콘텐츠 생성에서 시공간적 환각을 완화하기 위한 통합적이고 모델에 구애받지 않는 프레임워크인 Hallo4D를 제안한다. Hallo4D는 생성-탐지-교정 패러다임을 도입하여, 대규모 다중 모달 언어 모델(LMM)을 활용해 다중 시점 및 다중 프레임 렌더링에서 공간적 및 시간적 불일치를 식별하고 요약한다. 이러한 통찰은 합의 기반 이미지 공간 일관성 최적화를 안내하며, 여기서 LMM 기반 선택기가 다중 모델 투표를 통해 후보 교정을 평가하되 재학습이나 아키텍처 수정을 요구하지 않는다. 시간적 일관성과 최적화 효율성을 더욱 개선하기 위해 Hallo4D는 움직임 인식 키프레임 샘플링, LMM 안내 초기화, 외형 정렬을 통합한다. 또한 까다로운 시점에서의 강건성을 강화하기 위해 노출 인지 최적화와 가시성 가지치기를 추가로 도입한다. 광범위한 실험을 통해 Hallo4D가 다양한 3D 및 4D 생성 설정에서 강력한 기준 모델들을 일관되게 능가하며, 일관성 인식 콘텐츠 생성을 위한 확장 가능하고 일반화 가능한 솔루션을 제공함을 입증한다.

구조적 가지치기는 대규모 언어 모델(LLM)을 압축하는 하드웨어 친화적 방식이지만, 대부분 객관식 인식 과제에서만 검증되었으며, 동일한 압축된 체크포인트는 실제 배포에 요구되는 자유 형식 생성에서는 붕괴될 수 있다. 두 가지 관찰이 이러한 차이를 추적한다. 첫째, 압축 후 탐욕적 pass@1은 거의 사라지지만, 반복 샘플링 하에서 pass@k는 상당히 회복된다. 즉, 유용한 생성이 완전히 삭제되는 것이 아니라 등급이 낮아진다. 둘째, 회복 가능한 영역은 주로 접미사 반복으로 인해 실패한다. 따라서 회복은 밀집된 토큰 수준의 감독을 통해 압축된 모델 자체의 온-정책 상태에서 훈련되어야 하며, 온-정책 증류(OPD)는 압축 전 모델을 고정된 교사 모델로 재사용함으로써 이를 제공한다. 그러나 긴 온-정책 롤아웃은 초기 회복 예산을 정보가 낮은 반복적인 접미사에 소비하여 손실 감소를 지연시킨다. 이러한 낭비를 완화하기 위해, 본 연구는 \shortopd를 제안한다. 이는 단거리에서 장거리로 이어지는 OPD 일정으로, 교사 모델이 확인한 반복적 접미사를 감지하고, 남은 접두사를 각 롤아웃의 유효 길이로 처리하며, 향후 롤아웃 예산을 정책이 현재 사용할 수 있는 유효 길이에 할당한다. 수학, 코드, 개방형 생성 과제 전반에서 \shortopd는 압축된 모델의 점수를 회복되지 않은 값의 약 9배, 표준 회복 기법(SFT(KD 미적용), KD, SeqKD)의 1.6~4.4배로 향상시켰으며, 고정된 8192 토큰 롤아웃 수평선과 두 점 이내의 차이로 일치하면서 훈련 시간의 1/4(8.5시간 대 35.9시간)과 71% 적은 롤아웃 토큰을 사용했다. 본 연구의 방법이 구조적 가지치기를 혼란도 및 객관식 벤치마크에서의 미미한 개선을 넘어, 실제 배포에 준하는 생성 품질에 한 걸음 더 가까이 이끌길 기대한다.

대규모 언어 모델(LLM)이 자율 에이전트로 진화함에 따라 통합된 평가 인프라의 필요성이 중요해지고 있습니다. 그러나 현재의 평가 파이프라인은 여전히 매우 파편화되어 있고 밀접하게 결합되어 있어 재현성을 저해하고 중복된 엔지니어링 작업을 유발합니다. 이러한 문제를 해결하기 위해, 우리는 LLM 기반 에이전트 평가를 위한 오픈소스, 경량화, 확장 가능한 인프라인 AgentCompass를 소개합니다. AgentCompass는 평가 과정을 Benchmark, Harness, Environment라는 세 가지 독립적인 구성 요소로 구성함으로써, 복잡한 실행 로직을 재구현하지 않고도 유연한 구성을 가능하게 합니다. 또한, 내결함성 비동기 런타임과 포괄적인 궤적 분석 도구를 제공하여 보상 해킹과 같은 미묘한 실패 모드를 투명하게 진단할 수 있습니다. 다섯 가지 능력 차원에 걸쳐 20개 이상의 벤치마크를 기본 지원하는 AgentCompass는 에이전트 연구 발전을 위한 확장 가능하고 재현 가능한 인프라를 커뮤니티에 제공합니다.

지능형 보조 시스템은 언제 사용자의 요청 없이 개입해야 하는가? 연속적인 자기중심적(egocentric) 영상은 풍부하고 진화하는 맥락을 제공하여, 단순히 반응적인(reactive) 것이 아닌 능동적인(proactive) 새로운 형태의 지원을 가능하게 한다. 그러나 기존 접근법은 사용자의 이력, 현재 활동, 또는 도움이 실제로 환영받을지 여부를 고려하지 않고, 수동적으로 사용자 질의를 기다리거나 감지된 모든 이벤트에 응답이 필요하다고 간주한다. 우리는 능동적 지원을 맥락 의존적 의사 결정 문제로 재정의한다. 에이전트는 무슨 일이 일어나고 있는지 인식할 뿐만 아니라, 축적된 시간적 맥락을 기반으로 추론하여 언제, 어떻게 개입할지를 결정해야 한다. 이를 위해, 우리는 온디바이스(on-device) 보조 시스템 Vinci를 반응적 응답에서 능동적 지원으로 발전시킨 Vinci2를 제시한다. 평가 측면에서는 연속적인 자기중심적 영상에서의 능동적 지원을 위한 최초의 대규모 벤치마크인 EgoServe를 제시한다. EgoServe는 10개의 서비스 카테고리에 걸쳐, 즉각적인 안전 경보부터 장기적인 습관 코칭까지 4가지 시간적 기억 지평(temporal memory horizon)을 따라 구성된 3,000개 이상의 서비스 인스턴스(instance)를 포함한다. 모델링 측면에서는 학습 없는(training-free) 메모리 증강 에이전트(memory-augmented agent)인 EgoMemo를 제안한다. EgoMemo는 다중 스케일 시간적 요약, 의미 지식 그래프(semantic knowledge graph), 시각 임베딩 아카이브(visual embedding archive)라는 세 가지 상호 보완적인 메모리 표현을 유지한다. 각 시간 단계에서 EgoMemo는 검색 증강 추론(retrieval-augmented reasoning)을 수행하여 지원이 필요한지 여부를 결정하고, 필요한 경우 맥락적으로 근거 있는 응답을 생성한다. 실험 결과, EgoMemo는 EgoServe에서 강력한 기준선(baseline)을 확립하면서도 기존 자기중심적 벤치마크에서 경쟁력을 유지함을 보여준다. 우리의 벤치마크와 코드는 https://sitonggong.github.io/EgoServe-page/{Vinci2}에서 공개적으로 이용 가능하다.

LLM 기반 에이전트 시스템의 실패 귀인(Failure attribution), 즉 실패 궤적에서 어떤 단계가 작업 실패를 유발했는지 식별하는 것은 이러한 시스템의 디버깅 및 개선에 중요하다. 기존 접근 방식은 프롬프트 기반 파이프라인에 의존하거나(계산 비용이 높음), 단계별 오류 주석이 포함된 실패 궤적에 대한 사후 훈련을 요구하는데(수집 비용이 많이 들고 확장이 어려움), 실용적인 실패 귀인 모델은 경량화되어야 하며 실패 데이터에 대한 단계별 감독 없이 훈련 가능해야 한다고 주장한다. 이를 위해 우리는 비지도 실패 귀인, 즉 성공 궤적으로만 훈련하고 추론 시 실패 궤적이 주어졌을 때 오류 단계를 식별하는 문제를 다룬다. 본 연구에서는 신경 제어 미분 방정식(neural controlled differential equations)을 활용한 일변량 학습(one-class learning)으로 이 문제를 정식화하여, 잠재 공간에서 성공 궤적의 동적 패턴을 모델링하는 OAT를 제안한다. 추론 시 실패 궤적의 각 단계는 성공 궤적에서 학습된 동역학으로부터의 편차를 기반으로 이상 점수(anomaly score)가 할당되며, 이를 통해 오류 단계 집합을 형성한다. 100개의 성공 궤적으로만 훈련한 실험에서 OAT는 프롬프트 기반 베이스라인보다 200~5000배 빠르며, 동시에 인-도메인 데이터셋에서 +20%, 분포 외 데이터셋에서 +7%의 F1 점수로 일관되게 더 우수한 성능을 보여, 에이전트 시스템 오류 진단을 위한 유망하고 효율적인 방향임을 입증한다.

이산 잡음 제거 확산 모델(DDM)은 최근 이산 데이터에 대한 자기회귀(AR) 모델링의 강력한 대안으로 부상하며, 병렬 생성 및 반복적 전역 정제 능력을 제공한다. 상태 공간이 고정된 연속 확산과 달리, DDM은 이산 상태 공간이 구성되는 방식, 즉 토큰화 방식, 어휘 위상, 그리고 도메인 특화 구조적 알파벳에 의해 근본적으로 결정된다. 본 연구는 기본적인 이산 상태 공간의 구성을 통해 이산 확산 모델을 바라보는 통합 개념적 프레임워크를 소개한다. 이 프레임워크 내에서, 전이 행렬 기반, 마스킹/흡수 상태 기반, 점수/비율 기반 접근법을 포함한 기존의 정식화들은 공통 설계 공간의 서로 다른 구현체로 나타난다. 또한 이 프레임워크는 학습 목적 함수, 추론 알고리즘, 스케일링 행동, 시스템 최적화, 평가 프로토콜 전반에 걸친 공통적인 설계 절충점을 드러내며, 향후 연구를 위한 몇 가지 유망한 방향을 제시한다.

대규모 언어 모델(LLM) 에이전트는 단순히 응답을 생성하는 것을 넘어, 도구를 호출하고 결과를 관찰하며 다음 행동을 반복적으로 결정하는 다단계 작업을 실행합니다. 대부분의 에이전트 시스템은 도구 사용과 작업 자동화를 지원하는 데스크톱 또는 서버에서 작동합니다. 모바일 기기는 널리 접근 가능하고 사용자의 데이터, 센서, 일상적인 애플리케이션을 포함하기 때문에 중요한 에이전트 환경입니다. 기존의 모바일 에이전트는 주로 탭, 스와이프, 타이핑과 같은 그래픽 사용자 인터페이스(GUI) 동작을 통해 스마트폰을 작동하는데, 이는 종종 길고 인터페이스에 의존적인 시퀀스를 형성하며, 장치 기능에 직접 접근할 수 없고 실행 경계를 정의하기 어렵게 만듭니다. 본 논문에서는 모바일 폰에서 네이티브로 실행되며 세션, 메모리, 스킬, 도구 및 에이전트 루프를 장치에서 직접 관리하는 오픈소스 에이전트 프레임워크인 PalmClaw를 제시합니다. PalmClaw는 명시적인 인수, 구조화된 결과, 명확하게 정의된 실행 경계를 갖춘 장치 도구로 장치 기능을 노출합니다. 이 설계는 각 동작을 명시적이고 통제된 상태로 유지하면서 에이전트가 모바일 기능을 직접 사용할 수 있게 합니다. 실험 결과, 가장 강력한 기준선 대비 작업 성공률이 11.5% 상대적으로 향상되었고, 완료 시간이 94.9% 감소했으며, 설정 부담이 낮아지고 실행 경계가 어떻게 적용되는지 보여주는 추적이 제공되었습니다. 코드는 https://github.com/ModalityDance/PalmClaw에서 확인할 수 있습니다.

장기 지평 에이전트의 최적화는 점차 반성 기반 메커니즘에 의존하게 되었으며, 여기서 대규모 언어 모델(LLM)이 최적화자 역할을 수행하여 에이전트의 실패를 진단하고 정책을 개선한다. 그러나 실제 실행 궤적을 최적화에 직접 사용하기는 어렵다. 대규모 궤적 집합은 종종 중복되고 이질적이어서 최적화가 비효율적이고 가치가 낮은 실패에 과적합되기 쉬우며, 개별 궤적 또한 많은 관련 없는 단계를 포함하는 반면, 절단이나 슬라이딩 윈도우와 같은 단순한 컨텍스트 축소 방법은 인과적으로 중요한 증거를 폐기하여 잘못된 최적화 신호를 생성할 수 있다. 이러한 딜레마를 해결하기 위해, 우리는 신호 대 잡음비가 높은 최적화 컨텍스트를 구성하여 보다 정밀하고 효과적인 최적화를 가능하게 하는 STRACE(구조적 궤적 분석 및 인과 추출, Structural TRajectory Analysis and Causal Extraction) 프레임워크를 소개한다. 배치 수준에서 STRACE는 실패 패턴을 마이닝하여 중복 궤적을 필터링하고 대표적인 실패만을 유지하며, 선택된 각 궤적 내에서는 텍스트 의존성 그래프에 대한 인과적 위치 파악을 수행하여 비인과적 단계를 제거하고 최적화를 위한 진정한 근본 원인 모듈을 식별한다. 실험 결과는 STRACE가 표준 컨텍스트 필터링 기준선보다 현저히 우수함을 보여준다. 특히, 까다로운 형식 검증 과제(VeruSAGE-Bench)에서 인간 전문가가 설계한 에이전트를 성공적으로 최적화하여 성공률을 1.4배 향상시켰다(42.5%에서 58.5%로). 코드는 https://github.com/moomight/STRACE 에서 확인할 수 있다.

길이 패널티 강화 학습은 모델의 답변을 이끄는 영향을 숨기면서 사고 사슬 추론을 단축할 수 있다. 실험에서 길이 패널티로 훈련해도 모델의 사고 사슬이 힌트를 훨씬 덜 언급함에도 불구하고 오해의 소지가 있는 힌트가 모델을 이끄는 것을 막지 못한다. 토큰 정확도 평가는 정확도 손실이 거의 없이 더 적은 추론 토큰을 사용하기 때문에 이러한 실행을 성공으로 간주하지만, 남아 있는 흔적이 여전히 답변을 이끈 요인을 보여주는지 여부를 놓칠 것이다. 우리는 다양한 목표 사슬 길이로 Qwen3-4B 및 Qwen3-14B 변형을 훈련한 후, 보류된 MMLU-Pro-R과 네 가지 전이 벤치마크에서 편향 힌트 개입으로 평가한다. 압축은 추론 토큰을 급격히 줄이고, 대부분의 다지선다 정확도를 유지하며, 힌트 영향을 베이스라인에 가깝게 유지한다. 가장 강력한 목표에서, 하한 충실도는 Qwen3-14B의 경우 베이스라인의 63.1%, Qwen3-4B의 경우 69.4%로 떨어지며, 모니터가 힌트 사용을 포착하는 원시 비율은 69%에서 49%, 60%에서 48%로 감소한다. 길이와 내용을 분리하기 위해, 압축되지 않은 베이스라인 사슬에서 남은 텍스트가 압축된 길이와 일치할 때까지 문장을 무작위로 삭제한다. 이러한 길이 일치 후에도, 압축된 사슬은 Qwen3 두 크기와 모든 다섯 가지 평가 분포에서 무작위로 단축한 베이스라인 사슬보다 힌트를 7-35% 포인트 덜 공개한다. 따라서 압축은 추론을 단축하는 것을 넘어, 모니터가 답변에 영향을 미친 요인을 파악하는 데 필요한 단서를 우선적으로 제거한다. 종합하면, 이러한 결과는 더 저렴한 추론이 답변을 보존하면서 그 배후의 영향을 탐지하기 어렵게 만드는 압축-모니터 가능성 경계를 드러낸다.

AI 침투 테스트 에이전트는 공격적 보안 시스템으로서 점차 신뢰성을 얻고 있지만, 현재의 벤치마크는 실제 대상에서 어떤 에이전트가 가장 우수한 성능을 발휘할지에 대한 제한적인 지침만을 제공한다. 기존 평가 프로토콜은 깃발 뺏기(CTF), 원격 코드 실행, 익스플로잇 재현, 궤적 유사도와 같은 사전 정의된 목표를 단순화되거나 협소한 환경에서 평가하고 최적화한다. 이러한 도구는 제한된 능력을 측정하는 데 유용하지만, 실제 침투 테스트에 필요한 복잡성, 개방형 탐색, 전략적 의사결정을 적절히 포착하지 못한다. 본 논문에서는 평가 기준을 작업 완료에서 검증된 취약점 발견으로 전환하여, 여러 공격 표면과 취약점 클래스에 걸친 충분히 복잡한 대상을 평가할 수 있는 실용적인 평가 프로토콜을 제시한다. 이 프로토콜은 구조화된 정답(ground-truth)과 LLM 기반 의미 매칭을 결합하여 취약점을 식별하고, 현실적 모호성 하에서 결과를 평가하기 위한 이분 매칭 해결, 지속적인 정답 유지 관리, 확률적 에이전트의 반복 및 누적 평가, 효율성 지표, 지속 가능한 실험을 위한 축소된 스위트 선택을 포함한다. 이 프로토콜은 AI 침투 테스트 에이전트의 보다 현실적이고 운영적으로 유의미한 비교를 가능하게 함으로써 최신 기술을 확장한다. 재현성을 보장하기 위해, 제안된 평가 프로토콜에 대한 전문가 주석 정답과 코드도 공개한다: https://github.com/ethiack/ethibench.

자율 UAV 시스템은 점차 다중 모달 대규모 언어 모델(MLLM)에 의존하여 복잡한 실제 환경에서 작동하고 있다. 이러한 체화된 시나리오는 주변 공간을 이해할 뿐만 아니라, 에이전트 자체에 대한 일관된 표현을 유지하는 것도 요구한다. 그러나 기존의 UAV 중심 접근 방식과 벤치마크는 주로 공간 이해 과제에 초점을 맞춘 환경 중심으로 남아 있으며, 에이전트의 자기 인식은 암묵적으로 처리된다. 이러한 격차를 해소하기 위해, 우리는 통일된 자기-공간(self-in-space) 정식화 하에서 UAV 시나리오의 체화된 공간 지능을 평가하기 위한 벤치마크인 SIS-Bench를 소개한다. SIS-Bench는 공간과 자기라는 두 가지 상호 보완적 차원과 지각, 기억, 추론의 3단계 계층 구조에 따라 평가를 구성한다. 이 벤치마크는 전문가 검증을 포함한 과제 조건화된 구축 파이프라인을 통해 1,646개의 실제 UAV 비디오에서 도출된 13개 과제에 걸쳐 4,856개의 질문-답변 쌍을 포함한다. 광범위한 평가 결과, 현재의 MLLM은 동적이고 에이전트 중심적인 과정을 모델링하는 데 근본적인 한계를 나타냄이 드러났다. 특히, 공간 인지와 자기 인식 사이의 명확한 불균형과 더불어 인지 수준에 따른 점진적인 성능 저하가 관찰되었다. 이러한 발견에 동기 부여되어, 우리는 광학 흐름과 시각 특징 융합을 통해 자기 관련 역학을 통합하는 움직임 인식 표현을 추가로 탐구한다. 실험 결과는 에이전트 움직임을 모델링하는 것이 공간 인지뿐만 아니라 자기 인식에서도 지각 및 기억 성능을 일관되게 향상시키며, 하위 UAV 의사 결정 과제로 일반화됨을 보여준다. 우리의 결과는 체화된 공간 지능을 발전시키기 위한 자기 인식의 중요성을 강조하며, 움직임 인식 자기-공간 모델링을 위한 새로운 벤치마크와 경험적 증거를 함께 제공한다.

대화형 시뮬레이터는 체화된 에이전트를 훈련하고 합성 시각 데이터를 생성하는 강력한 도구가 되었지만, 기존의 사실적인 시뮬레이터는 제한된 일반성, 프로그래밍 가능성 및 렌더링 속도를 보인다. 우리는 SPEAR(사실적인 체화형 AI 연구를 위한 시뮬레이터)를 도입하여 이러한 한계를 해결한다. SPEAR의 핵심은 모듈식 플러그인 아키텍처를 통해 모든 언리얼 엔진(UE) 애플리케이션에 연결하고 프로그래밍 방식으로 제어할 수 있는 Python 라이브러리이다. SPEAR는 14,000개 이상의 고유 UE 함수를 Python에 노출시켜, 기존 UE 기반 시뮬레이터 대비 프로그래밍 가능 기능을 한 자릿수 이상 향상시켰다. 또한 단일 SPEAR 인스턴스는 1920x1080 해상도의 사실적인 뷰티 이미지를 초당 73프레임으로 사용자의 NumPy 배열에 직접 렌더링할 수 있으며, 이는 기존 UE 플러그인보다 한 자릿수 빠르다. 동시에 기존 UE 기반 시뮬레이터에서는 제공되지 않는 실측 이미지 모달리티(예: 비확산 고유 이미지 분해, 재질 ID, 물리 기반 셰이딩 파라미터)도 제공한다. 마지막으로, SPEAR는 표현력이 풍부한 고수준 프로그래밍 모델을 도입하여 사용자가 작업 항목 간의 임의 데이터 종속성을 가진 복잡한 UE 작업 그래프를 지정하고, 이러한 그래프를 단일 UE 프레임 내에서 결정론적으로 실행할 수 있게 한다. 우리는 다양한 예제 응용 프로그램을 통해 SPEAR의 유용성을 입증한다: 여러 현장 UE 프로젝트에서 인간, 자동차, 로봇 등 서로 다른 행동 공간을 가진 여러 체화된 에이전트를 제어하기, 사실적인 도시 규모 환경 렌더링, UE의 절차적 콘텐츠 생성 시스템 조작, 상세한 인간 얼굴의 동기화된 다중 뷰 이미지 렌더링, MuJoCo 물리 시뮬레이터와의 대화형 공동 시뮬레이션 조정, AI 코딩 어시스턴트를 통한 자연어로 장면 편집 등이다.

저희는 AffectFlow-DINO를 소개합니다. 이는 제11회 ABAW 챌린지를 위한 다중 작업 학습 시스템으로, 표준 결정론적 아키텍처에 조건부 정규화 흐름 헤드를 확장하여 실제 환경에서의 얼굴 행동이 지닌 본질적 모호성을 모델링합니다. 단일 감정 추정치를 예측하는 대신, 모델은 조건부 생성 분포를 학습하여 몬테카를로 샘플링을 통해 불확실성을 고려한 일대다 예측을 가능하게 합니다. 이 시스템은 정적 얼굴 이미지로부터 연속적인 정서가-각성을 추정하고, 8가지 얼굴 표정을 분류하며, 12가지 행동 단위를 탐지합니다. 고정된 DINOv3 ViT-S/16 백본을 기반으로 한 광범위한 절제 연구는 정규화 흐름 디코딩이 결정론적 예측을 일관되게 개선하며, 특히 정서가-각성 추정(CCC-V +0.058)에서 효과적임을 보여줍니다. 또한, 사후 임계값 보정이 재학습 없이 심각하게 불균형한 희소 클래스(예: 공포: 3.8% → 33.1%)에서 성능을 효과적으로 회복함을 입증합니다. 백본 미세 조정 및 흐름 재조정과 결합하여 최종 모델은 P_MTL=1.177을 달성하며, 공식 챌린지 기준선인 P_MTL=0.45를 크게 능가합니다.

Rust와 같이 풍부한 정적 의미론을 가진 언어는 AI 생성 코드에 대해 더 강력한 보증을 제공하지만, 그 엄격함으로 인해 생성이 더 어려워진다. 기성 컴파일러는 생성 후 유용한 피드백을 제공할 수 있지만, 자기회귀 LLM 디코딩 중과 같은 중간 생성 단계를 안내하지는 않는다. 제약 디코딩은 샘플링 중에 유효하지 않은 토큰을 거부함으로써 더 일찍 개입하지만, 화이트박스 모델 접근과 의미적 제약에 대한 비용이 많이 드는 재구현이 필요하다. 우리는 생성 중 부분 프로그램에 대한 컴파일러 피드백을 얻는 최초의 접근 방식인 생성적 컴파일을 소개한다. 핵심 기술 장치는 실러(sealor)이다: 이는 가벼우며 대부분 구문에 의해 안내되는 변환으로, 부분 프로그램을 표준 컴파일러가 진단할 수 있는 완전한 프로그램으로 변환한다. 이는 완성 가능한 부분 프로그램이 절대 거부되지 않도록 설계되었으며, 동시에 진정한 막다른 상황을 조기에 포착하기에 충분한 코드 맥락을 유지한다. 우리는 핵심 Rust 유사 계산법에 대해 이러한 실러를 구축하고, 이것이 이러한 속성을 만족함을 증명하며, 모두 Lean에서 기계적으로 검증되었다. 이를 실제 Rust를 위한 최초의 부분 프로그램 검사기로 확장한다. 우리는 첨단 블랙박스 모델과 공개 가중치 모델 모두에 걸쳐, 까다로운 저장소 수준의 Rust 코딩 작업에서 우리의 방법을 평가한다. 생성적 컴파일이 표준 생성 후 피드백에 비해 컴파일되지 않는 출력을 줄이고 기능적 정확성을 향상시킴을 보여준다. 이는 오류의 근원에 가깝고 생성 초기에 광범위한 오류를 탐지하여 오류 연쇄를 줄이고 집중된 진단을 가능하게 함으로써 이를 수행한다. 더 넓게 보면, 생성적 컴파일은 컴파일러를 별도의 생성 후 검사가 아닌, 생성 중에 활성화되는 AI 보조 프로그래밍의 일급 시민으로 만드는 한 걸음이다.