일간 논문

LLM 에이전트는 환경과 상호작용하며 학습하지만, 이러한 환경은 수작업으로 구축되고 정적이다. 에이전트의 약점을 인식하지 못하며, 에이전트가 향상됨에 따라 빠르게 뒤처진다. 최근의 환경 생성 방법들이 이를 해결하려 시도하지만, 도메인별 파이프라인이 필요하고, 비용이 많이 들거나 신뢰할 수 없는 검증기에 의존하며, 여전히 정적인 환경을 생성한다. 환경을 처음부터 다시 구축해야 하는 엔지니어링 부담을 줄이기 위해, 우리는 Environment Harness(EnvHarness)를 제안한다. EnvHarness는 플러그인 구성 요소들의 프로그래밍 가능한 계층으로, 기본 로직을 수정하지 않고 정적 환경을 감싸 그 동작을 재구성한다. EnvHarness는 표준 인터페이스를 통해 작동하여 재구성된 모든 환경이 원래 검증기를 유지하도록 보장하면서 다양한 도메인에 적용된다. 이 과정을 자동화하기 위해 우리는 EnvRigger를 도입한다. EnvRigger는 대상 정책을 블랙박스로 취급하고, 그 실행 궤적을 관찰하여 진단된 결함을 대상으로 하는 EnvHarness 구성 요소를 합성하고, 새로운 롤아웃을 통해 이를 검증한다. 네 가지 도메인의 다섯 가지 벤치마크에서 EnvHarness는 원래 환경과 도메인별 환경 생성 파이프라인을 모두 능가하며, 보류된 인스턴스에서 최대 9.0포인트의 성능 향상을 달성하고 실행 단계를 9.8% 줄인다. 또한 EnvHarness는 강화 학습을 위한 우수한 최적화 신호를 제공하여, 정책과 그 환경의 지속적이고 표적화된 공동 진화를 가능하게 한다.

터미널 에이전트를 훈련하려면 확장 가능한 실행 기반 감독이 필요하지만, 고품질 터미널 태스크를 합성하는 것은 여전히 어려운 문제이다. 각 태스크는 지시문, 초기화된 환경, 기준 해법, 실행 가능한 검증기를 결합한다. 이러한 산출물들이 일관성 없는 가정에서 생성되면, 결과 태스크는 해결 불가능하거나 부정확하게 평가될 수 있다. 한편, 다단계 합성은 원본 소스에 인코딩된 목표, 의존성, 상태 전이, 절차적 제약을 폐기할 수 있다. 본 연구는 정보 보존과 산출물 간 일관성이라는 두 가지 문제를 모두 해결하는 프레임워크인 FACET(Fine-grained Agentic Construction of Executable Tasks)을 제시한다. FACET은 관련 에이전트 스킬을 응집력 있고 정보가 풍부한 시나리오로 재구성한 다음, 실행 환경을 실현하고 수리한 후 최종 태스크 산출물을 생성한다. 결과적으로 생성된 컨테이너 상태는 지시문, 해법, 검증기의 공유 근거로 기능하며, 실행 기반 검증과 목표 지향적 수리는 유효한 구성 요소를 불필요하게 재생성하지 않으면서 산출물별 실패를 교정한다. FACET은 밀집된 실행 가능 검사를 포함하는 복잡한 터미널 태스크를 생성하며, 이러한 태스크에서 수집된 성공 궤적은 효과적이고 데이터 효율적인 감독을 제공한다. 다양한 규모에 걸친 모델 미세 조정은 Terminal-Bench 2.1에서 일관된 성능 향상을 보여주며, 대안적 생성 방식에 대한 분석은 태스크 유효성과 해법-검증기 정렬에 있어 환경 기반 구축의 중요성을 뒷받침한다. 이러한 결과는 소스 의도 보존과 공유 실행 상태 근거가 확장 가능한 터미널 태스크 합성의 핵심 원칙임을 입증한다.

소프트웨어는 점점 더 과학 기기 자체의 일부로 기능하게 되면서, 과학 코드의 오류는 프로그램 동작뿐만 아니라 과학적 결론의 근거가 되는 증거까지도 훼손할 수 있게 되었다. 그러나 기존의 코딩 에이전트 평가는 주로 전체 과제 성공률을 강조하며, 과학 소프트웨어를 수리할 때 에이전트가 실패하는 이유에 대한 통찰을 제한적으로 제공한다. 우리는 20개 과학 분야의 98개 GitHub 저장소에서 수집한 119개의 과제로 구성된 과학 소프트웨어 공학을 위한 저장소 수준 벤치마크인 SWE-bench Science를 소개한다. 각 과제는 이슈 중심(Issue-driven), 전문가 탐색(Expert-exploratory), 공학 통합(Engineering-integration)의 세 가지 패러다임 중 하나로 구성된다. 최고 성능의 에이전트인 Opus-5(max)를 사용하는 Claude Code조차도 pass@1이 50% 미만에 머물러, 과학 소프트웨어 공학이 제시하는 상당한 도전 과제를 부각한다. 우리는 반복적으로 나타나는 네 가지 실패 메커니즘을 식별한다: 과학적 지식이나 추상화의 부족, 잘못된 탐색 또는 표면적 수리, 불완전한 수리 범위 또는 시스템 통합, 그리고 분석에서 관찰된 사례를 넘어 과학적 지식을 일반화하지 못하는 실패이다. 또한 저장소와 실행 가능한 공학 맥락을 유지하면서 명시적인 과학적 지침을 제거하는 짝지어진 절제(paired ablation) 실험을 수행한다. 결과는 과학적 지식이 균일하게 유익하지 않다는 것을 보여준다: 근거가 충실한 정보는 수리를 제약하고 평균 성능과 토큰 효율성을 향상시킬 수 있는 반면, 정렬이 잘 안 된 지침은 앵커링(anchoring)을 유발하고 정확한 수리 성공을 반드시 개선하지는 않는다. 종합하면, SWE-bench Science는 과학 소프트웨어 공학에서 코딩 에이전트의 능력과 실패 메커니즘을 모두 연구할 수 있는 광범위한 테스트베드를 제공한다.

정체성 보존 이미지 생성은 장면에 많은 특정 인물이 포함되어야 할 때 점점 더 신뢰할 수 없게 된다. 각 정체성을 유지하는 것 외에도, 모델은 모든 참조를 서로 다른 인물 및 위치에 연결해야 하며, 학습 시점의 정체성 손실은 여러 노이즈가 있는 예측 얼굴들 사이의 대응 관계를 설정해야 한다. 우리는 최대 10개의 참조 정체성을 가진 그룹 이미지를 생성하는 통합 프레임워크인 WithEveryone을 소개한다. WithEveryone은 선택된 각 정체성을 주소 지정된 토큰으로 주입하고, 구조화된 정체성-레이아웃 계획을 예측하며, 이 계획을 시각적 조건으로 렌더링한다. 핵심 목적 함수인 Layout-Grounded ID Loss는 주석이 달린 얼굴 영역을 사용하여 의도된 정체성을 직접 지도함으로써 불안정한 임베딩 기반 얼굴 매칭을 피한다. ID Representation Forcing은 또한 이미지 합성 전에 각 정체성에 대한 예측을 추가로 훈련한다. 정체성이 분리된 벤치마크에서 WithEveryone은 가장 높은 대상-맥락 정체성 유사도를 달성하여 GPT-Image-2의 0.462에서 0.499로 얼굴 유사도를 향상시키고, 복사-붙여넣기 아티팩트를 0.169에서 0.055로 줄인다. 또한 요청된 정체성의 97.3%를 포함하며 중복률은 2.8%에 불과하다. 이러한 결과는 명시적인 정체성-레이아웃 접지가 직접적인 참조 얼굴 복사에 의존하지 않고도 정체성 보존 생성을 더 큰 그룹으로 확장할 수 있게 함을 보여준다.

메모리는 대규모 언어 모델의 핵심 구성 요소가 되었으며, 장기적인 상호작용에서 정보를 유지하고 학습할 수 있게 한다. 그러나 기존 메모리 벤치마크는 주로 정보가 올바르게 추출·저장·검색되는지 여부만 평가하며, 검색된 메모리가 모델의 추론을 어떻게 재구성하고 현재 과제 성능에 영향을 미치는지는 대체로 간과한다. 우리는 메모리 유발 인지적 함정(memory-induced cognitive traps)을 식별한다: 충실하게 기록되고 의미적으로 관련된 메모리조차도 모델의 추론이나 신념을 왜곡하고 현재 과제 성능을 저하시킬 수 있다. 이러한 실패 모드를 체계적으로 평가하기 위해, 우리는 MemTrapBench를 제안한다. 이는 추론 고착(Reasoning Fixation)과 신념 왜곡(Belief Distortion)이라는 두 가지 형태의 인지적 함정을 다룬다. 두 모델 계열과 다섯 가지 대표적 메모리 프레임워크에 걸친 실험 결과, MemTrapBench가 도전적임을 보여준다: 평가된 모든 메모리 전략은 메모리 없는 설정보다 성능이 낮았으며, 가장 강력한 방법조차도 10% 이상의 성능 하락을 겪었다. 이러한 인지적 함정을 완화하기 위해, 우리는 LLM이 메모리 함정을 피하도록 지시하는 간단하면서도 효과적인 추론 시점 방법인 AdaptiveMem을 제안한다. AdaptiveMem은 MemTrapBench에서 인지적 함정을 완화하면서도 다양한 메모리 프레임워크에서 표준 메모리 벤치마크의 성능을 유지하거나 개선한다.

오늘날 에이전트 스킬은 수작업으로 작성되거나 단일 LLM 생성 패스로 만들어지며, 따라서 자신이 실제로 유발하는 상호작용 실패로부터 개선될 수 있는 폐쇄 루프를 갖지 못한다. 최근 연구는 이 루프를 닫지만, 피드백을 단일 턴 질의응답 평가에서만 끌어낸다. 그 결과 뚜렷한 비대칭성이 나타난다. 첫 번째 라운드가 단일 교환으로 드러날 수 있는 공백을 메운 뒤에는 진화 그래디언트가 감쇠하고, 여러 턴에 걸쳐서만 드러나는 결함은 보이지 않으며, 진화는 정체된다. 이러한 시스템의 거버넌스 역시 종단 간 검증 점수, 즉 저하된 후보를 거부할 수는 있지만 구조적 원인을 특정하거나 복구할 수 없는 스칼라 게이트에 의해 작동한다. 우리는 지속적 스킬 진화를 결정하는 핵심 제약이 편집 능력이나 반복 횟수가 아니라, 평가 피드백이 신뢰할 수 있는 진화 그래디언트를 계속 공급하느냐에 있다고 주장한다. 이에 따라 우리는 신뢰할 수 있는 피드백이 그래디언트를 생성하고 통제 가능한 거버넌스가 그 방향을 제약하는 SkillEvo를 제안한다. 첫 번째 구성 요소는 다중 턴 사용자 시뮬레이션을 평가 종점에서 피드백 생성기로 재구성한다. 후속 질문이 결함을 층층이 노출함으로써, 각 수정 라운드는 피드백을 소비하는 동시에 새로운 피드백을 생성한다. 두 번째 구성 요소는 스칼라 게이트의 수동적 거부를 독립적인 거버넌스 계층으로 대체한다. 이 계층은 사실성 저하와 구조적 비대화를 능동적으로 복구하여, 저하가 누적됨에 따라 그래디언트가 드리프트하는 것을 방지한다. 6개 범주의 클라우드 서비스, 9개의 프로덕션 스킬, 98개의 스킬 참조 파일에 걸쳐, SkillEvo는 자기 반영 기반 진화보다 23.0포인트, 단일 턴 QA 기반 진화보다 15.4포인트 높은 성능을 달성한다.

행동 조건부 비디오 세계 모델은 저지연 인과 생성과 게임 고유 컨트롤에 대한 신뢰할 수 있는 응답을 요구한다. 인과적 증류는 1단계 또는 소수 단계 비디오 합성을 가능하게 하지만, 이를 상호작용 세계 모델로 확장하는 것은 여전히 어려운데, 이산 키보드 상태와 연속 마우스 움직임이 인과 훈련 및 자기회귀 롤아웃 동안 시간적으로 압축된 잠재 청크와 정렬된 상태를 유지해야 하기 때문이다. 우리는 도메인 적응, 교사 강제 인과 훈련, 인과 일관성 증류, 그리고 양방향 교사와의 온폴리시 분포 정합을 통해 양방향 행동 조건부 비디오 생성기를 효율적인 소수 단계 세계 모델로 변환하는 점진적 프레임워크인 ForgeWM을 제안한다. 결과적으로 생성된 예산 특화 학생 모델은 1, 2, 4단계의 정상 상태 잡음 제거 예산으로 작동한다. ForgeWM은 또한 지연 시간에 민감한 상호작용과 선택적 재생 시간 정제를 결합한 이중 경로 배포 프로토콜을 지원하며, 여기서 1단계 학생 모델은 저장된 초안을 재잡음화하고 정제한다. 쌍으로 구성된 Minecraft 궤적에서 ForgeWM은 이미징 품질, 참조 정렬 모션 프로필 일치도, 행동 신호 정확도, 마우스 제어 정확도에서 평가된 시스템 중 최고를 기록했으며, 가장 낮은 참조 LPIPS를 달성했다. 동일한 4단계 절차는 게임패드로 제어되는 FPS 게임플레이에도 전이된다. 재생 시간 정제는 4단계 참조 품질에 도달하면서 잡음에서의 재생성보다 경험된 궤적에 약 3배 더 가깝게 유지된다. 이러한 결과는 제어 가능한 소수 단계 비디오 생성을 위한 ForgeWM의 효과성을 입증한다.

대규모 언어 모델 에이전트는 코드 생성 분야에서 상당한 진전을 이루었지만, 대부분의 기존 시스템은 사전에 정의된 저장소 아키텍처를 가정한다. 이러한 가정은 에이전트가 자연어 요구사항으로부터 소프트웨어 프로젝트 전체를 직접 구축하면서 개발 전 과정에 걸쳐 모듈식 저장소 아키텍처를 유지해야 하는 제로-투-올 코드 생성에서는 성립하지 않는다. 본 논문에서는 제로-투-올 코드 생성을 위한 연속적 구조 진화 프레임워크인 Repo0를 제시한다. Repo0는 요구사항 수준 DAG, 컴포넌트 수준 DAG, 그리고 이들 간의 정렬 관계로 구성된 이중 방향성 비순환 그래프(Dual-DAG)로 인스턴스화되는 명시적 아키텍처 상태를 유지한다. 자연어 요구사항에서 시작하여, Repo0는 모듈성 지표에 의해 안내되는 구조적 액션을 통해 컴포넌트 경계를 반복적으로 진화시키고 구조적 수렴에 도달한 이후, 수렴된 아키텍처가 테스트 주도 개발 코드 생성을 안내한다. 우리는 RepoCraft의 6개 실제 저장소에서 GPT-5 mini와 DeepSeek V3.2를 사용하여 Repo0를 평가한다. Repo0는 모든 설정에서 최고의 기능 커버리지와 통과율을 달성한다. 가장 강력한 저장소 계획 베이스라인인 RPG와 비교하여, Repo0는 기능 커버리지를 최대 20.08퍼센트포인트, 통과율을 최대 29.74퍼센트포인트 향상시킨다. 절제 연구 및 구조 진화 분석은 Dual-DAG 아키텍처 상태, 모듈성 기반 구조 진화, 그리고 명시적 구조 수렴의 중요성을 추가로 입증한다.

장문맥 모델링은 대규모 언어 모델의 핵심 역량이지만, 어텐션의 이차 복잡도는 특히 계산 집약적인 프리필링 단계에서 여전히 중요한 병목 지점으로 남아 있다. 본 연구진의 이전 연구인 FlashPrefill은 즉각적인 패턴 발견과 최대값 기반 동적 임계값 설정을 통해 이러한 비용을 완화했으나, 실제 배포와는 거리가 먼 알고리즘적 프로토타입에 그쳤다. 본 논문에서는 FlashPrefill을 프로토타입 단계에서 실용적인 장문맥 서비스를 위한 도구로 발전시키는 FlashPrefill V2를 세 가지 측면에서 제시한다. 첫째, 평균 보정 항을 도입하여 근사 오차를 효과적으로 억제함으로써 극단적인 희소성 수준에서도 성능 저하를 관리 가능한 범위로 유지한다. 둘째, PackGQA 메모리 접근, 워프 전문화, 핑퐁 파이프라이닝을 적용하여 희소 어텐션 연산자를 재설계함으로써 최신 FlashAttention-3/4 구현과 완전히 정렬시키고, 실제 양자화 요구사항을 충족하기 위해 FP8 추론을 지원한다. 셋째, FlashPrefill V2는 페이지드 KV 캐시와 연속 배칭을 기본적으로 지원하여 SGLang과 같은 최신 추론 프레임워크에서 어텐션 백엔드로 통합될 수 있다. 가장 널리 배포된 추론 가속기 중 하나인 NVIDIA H20 GPU에서의 광범위한 평가를 통해, FlashPrefill V2는 FP8 및 BF16 정밀도에서 각각 128K 컨텍스트 길이 기준 FlashAttention-2 대비 최대 47.26배 및 27.19배의 속도 향상을 달성하며, FP8에서는 FA3/4 정렬 밀집 기준선 대비 여전히 30.49배의 속도 향상을 달성함을 입증한다.

세 개의 최첨단 혼합 전문가(MoE) 모델(Alibaba, OpenAI, NVIDIA; 각각 36–40억 개의 활성 파라미터)을 저자원 언어로 추론하도록 미세 조정했다. 정확도 벤치마크에서는 거의 아무런 변화가 일어나지 않는다. 그런데 이 규모에서는 벤치마크 자체가 노이즈이다. 무작위 시드(seed)만 변경해도 점수가 7.7점 움직이며, 이는 우리가 측정한 모든 데이터 및 레시피 효과보다 큰 변동이다. 이러한 귀무 결과가 첫 번째 발견이다. 실제 변화는 정확도가 볼 수 없는 곳에 존재한다. 기본 모델은 결코 그리스어로 생각하지 않는다. 질문이 그리스어인 경우에도 추론 트레이스 1,000개 중 0개가 그리스어로 작성되며, 따라서 모델은 사용자가 읽거나 검토하거나 수정할 수 없는 형태로 추론하면서도 정확한 답을 산출한다. 지도 미세 조정(SFT) 이후에는 공개된 모든 체크포인트가 약 98%의 항목에서 질문의 언어로 추론한다. 한 모델 계열은 3배 적은 토큰으로 이를 수행하며, 네 모델 모두에서 문법성 평가가 향상되었다. 일반 능력은 각 기본 모델과 몇 점 차이 이내로 유지되었다. 잊힌 것은 없고 유창함이 얻어진 것이다. 우리는 이러한 변화를 측정 가능하게 만드는 여섯 가지 행동 차원을 제안하며, 각 차원은 출력 길이와 상관관계가 있는 지표를 배제하도록 게이팅된다. 또한 우리의 측정 도구가 어떻게 거짓말을 했는지 보고한다. 각각 통제 조건에 의해 포착된 여섯 가지 실패 사례이다. SFT가 할 수 없는 것은 자체 결함을 고치는 일이다. 답변의 4분의 1이 요청된 형식을 따르지 않았고, 답변이 추론 채널로 누출되었으며, 명시적인 "영어로 생각하라" 지시는 절반 미만의 경우에만 준수되었다. 훈련 전에 사전 등록된 검증 가능한 보상 기반 강화 학습은 처음 두 가지 문제를 완전히 해결했다(형식 미준수 24%→2.5%, 누출 3.5%→0.0%, 모두 균일한 무작위 보상 통제 조건 대비). 세 번째 문제도 개선되었다(+9.1%포인트). 그리스어 추론 습관은 정확도 전용 그래디언트에서도 온전히 유지되었다. 우리는 다섯 개의 체크포인트를 공개한다. 측정 도구, 통제 조건, 사전 등록 절차는 모든 저자원 언어에 적용 가능하다. 그리스어는 이를 측정할 수 있게 해준 사례이다.

로봇 정책을 효율적으로 미세 조정하여 새로운 작업을 즉시 학습하는 방법은 무엇인가? 최첨단 로봇 조작 정책은 방대한 원격 조작 데이터셋에서 수십억 개의 매개변수를 가진 대규모 비전-언어-행동(VLA) 모델을 행동 복제하는 방식에 기반한다. 이 단순한 접근 방식이 로봇 조작 분야의 상당한 발전을 가능하게 했지만, 새로운 작업을 학습하기 위한 VLA 정책의 미세 조정은 여전히 미해결 문제로 남아 있다. 특히 원격 조작 데이터셋을 수집하려면 수백 시간에 달하는 고비용의 인간 노동이 필요하며, 대안인 강화 학습(RL)은 특히 장기 지평 작업에서 샘플 효율성이 매우 낮은 것으로 악명 높다. 또한 VLA에 RL을 적용하는 것은 모델의 크기와 아키텍처 설계로 인해 여러 가지 도전 과제를 야기한다. 본 연구에서는 VLA 정책의 미세 조정을 위한 효율적인 알고리즘인 EXIMO를 제안한다. EXIMO는 탐색, 모방, 최적화의 세 단계로 작동한다. 탐색 단계에서 EXIMO는 VLA에 플래너 역할을 하는 비전-언어 모델(VLM)을 장착한다. VLM은 추론을 통해 도전적인 장기 지평 문제를 VLA가 처리할 수 있는 더 짧은 하위 문제들로 분해한다. VLM은 VLA와 함께 새로운 작업에 대한 조율된 데이터셋을 수집하는 데 사용된다. 모방 단계에서는 조율된 데이터로 VLA를 미세 조정한다. 마지막으로 최적화 단계에서는 잔여 오프-폴리시 강화 학습을 사용하여 정책을 추가로 미세 조정한다. 실험을 통해 EXIMO의 세 단계를 모두 절제하여 평가했으며, 제안한 방법이 샘플 효율성과 최종 성능 측면에서 기존 접근법들을 크게 능가함을 보여준다.

대규모 언어 모델은 추론 시점에 원본 문서가 검색되지 않을 때 제한된 문서 집합에 관한 질문에 답변하지 못하는 경우가 많다. 우리는 이러한 설정을 문서 지식 내면화(document knowledge internalization), 즉 고정된 말뭉치를 검색 없는 질의응답을 위한 사용 가능한 파라미터 지식으로 변환하는 과정으로 연구한다. 우리는 IAR(Inject, Align, and Recover)를 제안하는데, 이는 구조화된 문서 지식 주입, QA 행동 정렬, 일반 능력 복구를 분리하는 3단계 사후 학습 프레임워크이다. 기존의 지속 사전 학습(continued pretraining)과 달리, Inject는 원본 문서를 연속 생성(continuation), 재작성(rewrite), 명령어 조건화 재구성(instruction-conditioned reconstruction) 목표로 변환한다. 이후 Align은 주입된 모델을 답변 중심 QA 지도 학습으로 적응시키고, Recover는 도메인 적응 모델을 기본 명령어 모델과 병합하여 일반 능력을 복구한다. Common Corpus(CC) 및 CCI 전반과 Llama, Phi, Qwen, SmolLM 모델 제품군 전반에 걸쳐, IAR은 검색 없는 문서 내면화를 위한 도메인 우선-도메인 일반 프론티어를 개선한다. 주요 비교에서 IAR은 8개의 데이터셋-모델 설정 중 7개에서 네 가지 보고 지표 모두에 대해 바닐라 SFT(Vanilla SFT) 대비 개선을 보였으며, 도메인 QA 정확도에서 평균 3.6퍼센트 포인트, IFEval, MMLU, MSBench 전반의 평균 일반 성능에서 12.1퍼센트 포인트의 향상을 달성했다. 확장된 CC 기준선 실험은 LoRA와 FAPM이 개별 일반 지표에서 우위를 점할 수 있음을 보여주지만, 선두권 또는 선두권에 근접한 도메인 내면화에 도달하는 방법들 중에서 IAR은 가장 강력한 일반 성능 프로필 중 하나를 유지한다.

공개 벤치마크는 자동 음성 인식(ASR) 모델의 성능을 측정하는 중요한 지표이다. 그러나 공개 데이터라는 특성상, 모델이 실제 세계 데이터에는 제대로 일반화되지 않는 방식으로 이러한 벤치마크에 맞춰 최적화될 위험이 존재한다. 본 연구는 오디오가 참조 전사(reference transcript)를 충분히 결정하지 못하는 경우에 초점을 맞추어, 벤치마크 최적화를 정량화하는 방법론을 제시한다. 우리는 오디오가 불충분하게 결정된 상황에서도 모델이 벤치마크 참조 구간을 재현하는 능력을 드러내는 세 가지 행동 탐침(behavioral probe)군을 식별한다: 참조 불일치(reference disagreement), 마스킹된 숫자 복원(masked-number recovery), 그리고 철자 전환(orthographic switching). 우리는 최고 점수를 기록한 오픈소스 모델들이 관련 오디오가 모순되거나, 마스킹되거나, 모호한 경우에도 벤치마크 참조 전사 구간을 문자 그대로 출력함을 발견한다. 다양한 기계적 탐침(mechanistic probe)을 통해, 모델이 좁은 음향적 단서에 반응하여 오디오의 충실한 표현을 무시하고 벤치마크 최적화 정책을 우선시함을 보여준다. 또한 이러한 벤치마크 최적화 행동이 저랭크 선형 조향(low-rank linear steering)이나 일부 경우에는 단순히 세그먼트 끝에 오디오를 추가하는 방식으로 인과적으로 조작될 수 있음을 입증한다. 종합하면, 본 연구의 결과는 고성능 모델들이 벤치마크 조건화된 행동을 나타내며, 이는 실제 범용 전사 능력의 향상을 반영하지 않으면서 벤치마크 성능을 부풀릴 수 있음을 시사한다.

장기간 로봇 조작은 로봇이 개별 기술을 안정적으로 실행하고 확장된 작업에 걸쳐 이를 일관되게 순서화하는 것을 요구한다. 대부분의 계층적 비전-언어-행동(VLA) 모델은 단일 순전파로 각각의 결정을 내리며, 어렵거나 결과에 영향을 미치는 선택에 추가 연산을 할당할 메커니즘을 제공하지 않는다. 우리는 세계 모델 기반 테스트 시 연산을 통해 고수준 하위 작업 생성을 연산 확장 가능한 추론 문제로 정식화하는 계층적 로봇 기반 모델인 τ_0-VLA를 소개한다. 각 추론 단계에서 고수준 정책은 실행 메모리를 사용하여 하위 작업을 생성하고, 필요한 경우 출력을 확정하기 전에 대안을 검색한다. 그런 다음 저수준 정책이 여러 로봇 구현체에 걸쳐 생성된 하위 작업을 실행한다. 이 정책은 다중 모달 공동 훈련을 통해 40,115시간의 이질적인 실제 데이터로 훈련된다. 도메인 내 및 분포 이동 설정에서 추가 테스트 시 연산을 할당하면 다음 하위 작업 예측 정확도가 상당히 향상되며, 이러한 이득은 장기간 로봇 조작 작업에서 더 높은 폐루프 성공으로 이어진다.

인간은 경험으로부터 지속적으로 학습하는 반면, 기존의 대규모 언어 모델(LLM) 평가는 추론 시점의 상호작용을 통한 모델의 개선 능력을 무시한다. 본 논문에서는 테스트 시점에 LLM이 반복적 경험으로부터 학습하는 방식을 연구하는데, 이를 경험의 사슬(Chain-of-Experience, CoE)이라 명명한다. CoE는 모델이 자기 자신 또는 환경적 피드백과의 반복적 상호작용을 통해 경험적 흔적을 축적함으로써 제로샷 추론을 넘어서는 지속적 개선 루프를 형성하는 설정이다. 우리는 모델 자기 피드백과 정답 여부 또는 공개 코딩 테스트 통과율과 같은 환경적 신호를 포함한 다양한 피드백 메커니즘으로 CoE를 구현하고, GPT-5, Gemini-2.5 Pro, Claude-4.5 Sonnet을 포함한 8개의 LLM을 사용하여 수학, 코딩, 지식 영역에 걸쳐 평가한다. 본 연구는 반복적 경험의 활용이 피드백이 없는 기준선을 일관되게 능가하며, 자기 피드백만으로도 상당한 성능 향상을 달성하고, 전체적으로 작업 및 모델 전반에 걸쳐 5.6%의 성능 개선과 19%의 API 비용 절감을 보여준다. 또한 상호보완적인 피드백 채널(예: 모델 피드백과 정답 신호)의 결합이 추가적 이득을 제공하며, CoE가 기존 테스트 시점 전략보다 토큰당 더 높은 정확도를 제공함을 입증한다. 우리는 LLM의 기본 능력과 개선 능력 사이에 양의 상관관계가 있음을 관찰하고, 모델이 약하거나 허위적인 피드백 하에서도 견고성을 유지하며, 서로 다른 피드백이 각기 다른 개선 측면에 기여하고 대부분의 이득이 반복 초기에 나타난다는 점을 보여준다.

고객 서비스 LLM 에이전트는 사용자를 대신하여 행동할 때 조직 정책을 따라야 한다. 정책 준수 실패는 자격이 없는 변경을 승인하는 것과 같은 금지된 행동이나 식별 또는 확인과 같은 절차적 요구 사항을 누락하는 데서 발생한다. 런타임 안전장치는 위험한 행동에 개입할 수 있지만, 행동 단위 검사는 에이전트를 다단계 절차로 안내하지 않는다. 워크플로우를 따르는 시스템은 규정된 프로세스 실행을 지원하지만, 주로 에이전트 행동의 안전성 확보보다는 워크플로우 완료에 초점을 맞춘다. PolicyGuide는 대신 각 도메인 정책을 워크플로우 그래프로 컴파일하고 사용자 턴 경계에서 선제적 검증기를 호출한다. 유지된 그래프 상태에서 검증기는 미해결 요청을 조정하고, 정책 준수 경로를 따라 단계별 수정 조치를 반환한다. PolicyGuide는 τ^2-bench의 항공, 소매, 통신 도메인에서 GPT-5.4 에이전트와 검증기를 사용한 평가에서 평균 Pass^4를 0.42에서 0.62로 향상시켰으며, 가장 큰 향상은 워크플로우 구조가 가장 뚜렷한 통신 도메인(0.19에서 0.61)에서 나타났다. 동일한 워크플로우는 Claude Sonnet 4.6 및 Gemini 2.5 Pro 에이전트에도 적용된다. 보완 평가에서는 적대적 사용자 하에서 관찰된 가장 낮은 공격 성공률과 저자가 설계한 워크플로우 수준 검증에서 가장 높은 절차적 준수를 확인했다.

현대 LLM 에이전트는 종종 프롬프트, 도구 또는 워크플로우를 수동으로 수정하여 개선되는 반면, 모델을 둘러싼 실행 가능한 스캐폴드(하네스)는 배포 후 고정된 요소로 간주된다. 본 연구는 하네스가 작업별로 특화되고 지속적으로 진화할 수 있는 대안을 탐구한다. 각 작업 계열은 자체 하네스를 유지하며, 이 하네스는 고정된 작업 주입 지점을 통해 반복 간에 핫스왑되고 환경 피드백을 기반으로 재작성된다. 우리는 계층적 자기 개선(HSI) 프레임워크를 제안한다. 이 프레임워크에서 단일 동결 LLM M은 세 가지 계층적 범위에서 작동한다: 작업을 실행하는 작업 하네스 H, H를 재작성하는 진화기, 그리고 동결된 외부 앵커 아래에서 진화기의 전략 코드를 재작성하는 메타-진화기. 추론 온/오프 설계는 작업 실행 중 추론을 비활성화하고 자기 수정 중에는 활성화하여 하네스 진화의 기여도를 분리한다. HSI는 두 가지 요인에 의해 제한된다. 첫째는 피드백 충실도 한계로, 진화가 선택을 안내하기 위해 정보성 있는 보상 신호를 필요로 하기 때문이다. 둘째는 백본 능력 한계로, 하네스 재설계가 동결 모델의 한계를 극복할 수 없기 때문이다. 동결 백본으로 DeepSeek-V4-Flash-Preview를 사용하는 BALROG에서 HSI는 중간 난이도 작업에서 초기 하네스 대비 일관된 성능 향상을 달성한다(BabyAI에서 +39.3, Crafter에서 +33.0, TextWorld에서 +25.0, MiniHack에서 +15.0, 모두 원시 % 진행률 기준). 또한 BabaIsAI 하위 스위트에서 강력한 홀드아웃 일반화를 보여준다(20% 미가용 분할에서 BreakStop 최고 테스트 점수 0.98, GoTo 1.00). 백본의 능력을 넘어서는 작업(NLE)에서는 하네스 진화가 개선을 제공하지 못한다. 이러한 결과는 명확한 경험적 한계 하에서 동결 LLM 에이전트를 개선하기 위한 실행 가능한 축으로서 작업별 하네스 진화를 입증한다. 코드는 https://github.com/TailinZhou/hsi 에서 공개되어 있다.

우리는 TinyCast를 소개한다. 이는 146,505개의 파라미터로 예측 분포를 출력하는 어텐션 없는 제로샷 예측기이며, 이 크기에서는 컨텍스트의 주기적 구조를 학습하는 것보다 계산하는 것이 더 가치 있다는 전제에 기반한다. 제로 파라미터 스펙트럼 검출기가 지배적인 주기들을 제공하고, 컨텍스트는 그 위상에 따라 접히며, 팽창 컨볼루션 인코더와 블록 자기회귀 분위수 디코더가 나머지를 모델링한다. 이 모델은 GIFT-Eval 리더보드에서 파라미터 수가 확인 가능한 모든 제로샷 항목보다 작다. 확률적 정확도 측면에서 크기-정확도 프런티어를 정의한다. 테스트 데이터 누출이 없음을 선언한 제로샷 항목들 중에서, 1.4M 파라미터 미만이면서 예측 분포를 출력하는 유일한 모델이며, 더 나은 점수를 얻은 모든 항목은 최소한 그만큼의 파라미터 예산을 갖는다. Chronos-ZS와 fev-bench에서 이 모델보다 앞선 모든 신경망 모델은 최소한 28배의 파라미터를 가진다. 혼합 경로가 컨볼루션과 행렬 곱셈뿐이므로 정적 INT8로 내보낼 수 있으며, 신호별 피팅 없이 임베디드 기기에서 종단 간 예측을 수행한다.

장편 비디오 이해는 고립된 사건 검색을 넘어 진화하는 내러티브 추적과 암묵적으로 남을 수 있는 사회적 의미 해석을 포함하는 과업을 포괄한다. 그러나 기존 벤치마크는 특히 고맥락(high-context) 비영어권 미디어에서 이러한 능력을 종합적으로 평가하는 경우가 드물다. 이러한 격차를 해소하기 위해, 우리는 일본어 장편 비디오에서 내러티브 진화와 문화적 이해 추론을 평가하도록 설계된 벤치마크인 NARU를 소개한다. NARU는 총 146.8시간에 해당하는 155개 비디오에 기반한 1,481개의 질문으로 구성되며, 4개의 내러티브 차원과 5개의 문화적 차원에 걸쳐 있다. 이 규모로 벤치마크를 구축하기 위해, 우리는 계층적 메모리 기반 주석 파이프라인을 제안한다. 이 파이프라인은 원시 비디오를 구조화된 사건, 내러티브 및 문화 주석으로 변환한 후, 과업 지향적 합성과 반복적 단축 경로 제거를 통해 질문을 생성한다. 구축 과정에는 68명의 주석자가 참여하는 두 차례의 원어민 검증 단계가 포함된다. 8개 모델 구성에 대한 평가는 장거리 내러티브 통합과 문화적 기반 추론 모두에서 상당한 한계를 드러낸다. 이러한 지속적 결함을 노출함으로써, NARU는 장편 고맥락 비디오를 신뢰성 있게 해석할 수 있는 MLLM 개발을 위한 체계적 테스트 기반을 제공한다.

현재의 정교한 파지 계획기들은 주로 물리적 안정성을 최적화하며, 물체를 잡을 수 있는지 여부에 초점을 맞출 뿐 하위 기능적 작업을 지원하기 위해 어떻게 잡아야 하는지는 고려하지 않는다. 그러나 특정 인간 파지 분류 체계에 파지 합성을 조건화하는 것은 일반적으로 객체 주석이 달린 데이터셋을 필요로 하며, 이는 비용이 매우 높다. 이러한 한계를 해결하기 위해, 우리는 특정 접촉 토폴로지에 엄격히 조건화된 다양하고 안정적인 파지를 합성하는 새로운 생성 프레임워크인 CoToGrasp를 제안한다. 데이터 수집 병목을 우회하기 위해 CoToGrasp는 전적으로 객체 무관 방식으로 훈련된다. 우리는 로컬 객체 특징을 통합된 그리퍼 중심 도메인으로 투영하는 특징 기반 표준 작업공간을 도입하여, 의미론적 기능적 의도를 임의의 객체 형상으로부터 효과적으로 분리한다. 이 작업공간 내에서 그리퍼의 내재적 접촉 다양체를 학습함으로써, 우리 모델은 추론 시 보지 못한 객체에 대한 제로샷 일반화를 달성한다. 대규모 DexGraspNet 데이터셋에 대한 광범위한 평가는 CoToGrasp가 최첨단 성능을 달성하며 기존의 분류 체계 기반 계획기들을 능가함을 보여준다. 마지막으로, 우리는 물리적 로봇 플랫폼에서 합성된 접촉 토폴로지의 물리적 실현 가능성과 운동학적 실현 가능성을 시연한다. 코드는 프로젝트 웹사이트 https://cea-list.github.io/cotograspweb/ 에서 확인할 수 있다.

다지 파지는 로봇 조작에 있어 중요한 기술이지만, 현재의 딥러닝 기반 파지 플래너는 제한적인 객체 특정 데이터셋으로 훈련되기 때문에 새로운 객체에 대한 일반화에 어려움을 겪는 경우가 많다. 우리는 그리퍼와 객체가 상호 접촉점에서 동일한 표면 형상을 공유한다는 관찰에 기반한 근본적으로 다른 접근 방식을 제안한다. 본 논문에서는 정교한 로봇 조작을 위한 생성적 객체 무관 파지 플래너인 GOAG(Generative and Object-Agnostic Grasp Planner)를 소개한다. GOAG는 특정 그리퍼의 접촉 표면 분포에 대한 간결한 잠재 표현을 학습하는 새로운 딥 생성 모델로, 객체 특정 훈련 데이터에 의존하지 않고 유효한 파지 구성을 효율적으로 샘플링할 수 있게 한다. 추론 시에만 객체 특징을 도입함으로써, 우리의 모델이 그리퍼의 성능과 호환되는 허용 가능한 접촉 영역을 효과적으로 검색할 수 있음을 보여준다. 우리는 시뮬레이션 및 실제 환경에서 기존의 파지 프로토콜에 대한 광범위한 실험을 통해 접근 방식을 검증하였으며, 문헌에 나와 있는 다양한 그리퍼를 사용하여 효과성을 입증하였다. 본 방법은 MultiDex 데이터셋의 객체들에 대해 평균 성공률 86.93%를 달성하여 최첨단 결과를 제공한다. 또한 다수의 파지를 생성할 때 훨씬 더 빠른 처리를 제공하면서, 이 데이터셋에 특별히 훈련된 주요 접근 방식들과 동등한 성능을 보여준다. 이러한 방법들과 달리, 우리의 접근 방식은 객체 특정 훈련 데이터에 의존하지 않으며, 이는 객체 무관 학습의 장점을 강조한다. 본 방법은 전통적인 데이터 기반 파지 플래너가 직면하는 일반화 문제를 효과적으로 해결한다. 코드와 비디오는 프로젝트 웹사이트 https://cea-list.github.io/goagweb/ 에서 확인할 수 있다.

LLM 코딩 에이전트는 모델 출력을 직렬화, 래핑, 재파싱할 수 있는 인터페이스를 통해 Bash 명령을 실행한다. 일치된 실행 점수만으로는 명령 생성 오류와 생성 이후에 도입된 실패를 구분할 수 없다. QuoteBench는 14개의 사고 기반 계열에서 도출된 56개의 원샷 작업에 대한 정확한 최종 상태 검증을 통해 이러한 경계를 측정하며, 의도적으로 이스케이프되지 않은 추가 파서를 중심으로 생성 계약과 실행 전송을 교차시킨다. 보간 지점에서 이스케이프하면 재생된 각 응답의 원시 경로 결과가 재현되므로, 공개된 경계 하에서의 어떤 회복도 모델이 생성 방식을 변경할 때만 가능하다. 8개의 동일 창 구성에서 동일한 응답을 추가 파서를 통해 재생하면 성공률이 55.4~73.2퍼센트 포인트만큼 낮아진다. 공개는 여섯 구성에 대해 30.4~60.7포인트를 회복시키고, 나머지 두 구성에 대해서는 0 또는 약간의 음수를 보인다. 원시 생성은 최첨단에서 거의 포화 상태이며, 경계 적응이 여전히 모델을 구분한다. GPT-5.6-sol의 일치 격차 -3.6포인트는 -64.3포인트의 손상과 +60.7포인트의 보상을 숨긴다. 배포 구성은 모델 순서를 바꾼다. 26개의 비교 가능한 쌍 중 하나의 역전은 명확하고, 네 개는 단일 작업 차이의 경계에 놓여 있다. 명령 실행 에이전트의 평가는 일치 점수를 모델 고유 속성으로 취급하기보다 모델 구성, 생성 계약, 실행 경로, 작동 지점 및 최종 상태 검증기를 보고해야 한다.

텍스트 임베딩 파이프라인을 대규모 언어 모델로 대체해야 할까요? 우리는 6개 계열의 LLM 10개와 118M~14B 파라미터 규모의 임베딩 모델 26개를 분류, 의미론적 텍스트 유사도(STS), 군집화, 쌍 분류, 검색을 포괄하는 37개 작업에서 비용을 고려한 통제된 비교를 통해 이 질문에 답합니다. 전체적으로 두 패러다임은 사실상 동률입니다. 최고 LLM(Gemini 3.1 Pro, 77.6)과 최고 임베딩 모델(77.2)의 차이는 0.4포인트에 불과합니다. 강점은 작업별로 다릅니다. LLM은 추론 중심 검색에서 앞서고, 임베딩 모델은 분류에서 앞서며, 군집화, STS, 쌍 분류에서는 둘의 성능이 동일합니다. 그러나 이러한 동등성에 도달하는 데는 비용이 많이 듭니다. LLM은 유사한 품질의 임베딩 모델보다 벤치마크 1회 실행당 최대 1,431배 더 많은 비용이 소요되며(USD 154 대 USD 0.11), 테스트한 오픈 LLM은 동일 GPU에서 토큰을 2.5~736배 더 느리게 처리합니다. 추론 토큰은 LLM 추론 비용의 28~81%를 차지하며, 절제 실험에서 대부분의 모델은 추론 예산을 낮출 때 검색 품질을 유지하거나 개선했습니다. 파레토 최적 경계에는 선도적인 임베딩 모델과 단 하나의 LLM인 Gemini 3.1 Pro가 포함됩니다. 이러한 결과는 역할 분담을 지지합니다. 유사도, 분류, 군집화에는 임베딩 모델을 사용하고, 추론 집약적 검색에는 LLM을 사용하는 것입니다. 우리의 코드, 데이터셋, 결과는 https://github.com/embeddings-benchmark/embedders-dilemma에서 공개적으로 이용할 수 있습니다.

자기지도 학습(SSL)은 오디오 표현 학습에서 상당한 진전을 이끌어 왔지만, 기존 방법들은 경쟁력 있는 성능에 도달하기 위해 점점 더 정교한 사전 학습 기법에 의존해 왔다. 언어 모델링과, 보다 최근에는 시각 표현 학습에서 가장 영향력 있는 진전의 배경에는 현저히 다른 사전 학습 철학이 있다. 인코더를 정적 특징 추출기로 훈련하는 대신, 모델은 이전 맥락으로부터 다음 요소, 즉 이산 토큰 또는 연속 임베딩을 예측하도록 훈련된다. 자기회귀 예측은 이에 따라 모달리티 간에 전이되는 통합된 사전 학습 인터페이스를 제공하며, 모델이 기본 데이터 분포를 학습하도록 강제한다. 우리는 오디오의 시간적 구조가 패치 임베딩의 자기회귀 예측을 자연스럽게 적합하게 만든다는 점을 고려할 때, 이러한 단순한 인과적 패러다임이 강력한 오디오 학습기를 산출할 수 있는지 묻는다. 우리는 NAPE(Next-Audio-Patch-Embedding prediction)를 소개한다. 이는 자기지도 프레임워크로, 인과적 트랜스포머가 로그-멜 스펙트로그램의 각 다음 패치 임베딩을 이전 패치 임베딩들로부터 예측하며, 훈련 신호로는 인과적 마스킹과 기울기 중단(stop-gradient)만을 사용한다. 이 설계는 의도적으로 최소주의적이며, 재구성 디코더, 음향 토크나이저, 학생-교사 설정, 보조 정규화 손실을 피한다. 여섯 개의 오디오 및 음성 벤치마크에서 NAPE는 여러 작업에서 최첨단 미세 조정 성능을 달성하고, 인코더 크기에 걸쳐 일관되게 확장되며, 강력한 선형 프로빙 결과를 산출한다. NAPE는 또한 명시적 지도 없이 구조화된 주의 패턴을 생성한다.

대규모 언어 모델 에이전트는 추론 시점에 워크플로우를 구성하여 복잡한 작업에 적응할 수 있지만, 한 에피소드에서 발견된 절차는 실행 후 일반적으로 폐기된다. 기존의 스킬 라이브러리는 재사용 가능한 실행 루틴을 제공하지만, 보통 오프라인에서 구축되며 에이전트 자신의 워크플로우에서 성장하지 않는다. 우리는 학습이 필요 없는 프레임워크인 FlowEvo를 제안하며, 이 프레임워크에서는 워크플로우와 스킬이 추론 시점에 공진화한다. FlowEvo는 성공적인 워크플로우를 호출 가능한 스킬로 컴파일하여 영속적 저장소에 보관하고, 검색된 스킬을 직접 실행하거나 새 워크플로우 구성을 위한 맥락으로 활용한다. 또한 각 스킬의 후속 작업 효용을 추적하고 부정적 전이를 유발하는 스킬의 사용을 억제한다. 공유된 GPT-4o-mini 백본을 사용한 FlowEvo는 ALFWorld, HumanEval, MBPP, GSM8K, MATH-500의 전체 표준 분할에서 8개 베이스라인 중 최고 정확도를 달성한다. ALFWorld에서는 가장 강력한 베이스라인보다 26.4포인트 높은 85.6%에 도달하면서 대략 3분의 1 수준의 토큰만을 사용한다. 7B에서 671B 파라미터에 이르는 10개의 기반 모델에 걸쳐 FlowEvo는 50개의 모델-데이터셋 비교 중 49개에서 ExpeL을 능가한다. 코드는 https://github.com/DEFENSE-SEU/FlowEvo에서 확인할 수 있다.