일간 논문

우리는 인컨텍스트 학습과 순환 잠재 추론을 결합한 추론 모델 BDH-CQ를 소개한다. 추론 시점에 제시되는 입력은 모델의 순환 메모리를 지속적으로 갱신하며, 모델은 중간 추론을 언어화하지 않고 고차원 잠재 공간에서의 반복 계산을 통해 쿼리를 해결한다. 우리는 공개 ARC-AGI-1 평가 세트에서 모델을 평가하고, 통제된 ARC 유사 개입을 통해 모델이 시연에서 무엇을 학습하는지, 추론된 변환을 얼마나 일관되게 적용하는지, 어떤 개념이 여전히 어려운지 연구한다. 1억 5천만(150M) 파라미터 구성은 작업당 $0.0007의 계산된 추론 비용으로 pass@2 29.5%를 달성한다. 이 운영 지점은 기존에 보고된 ARC-AGI-1 비용-정확도 파레토 경계를 돌파하여 벤치마크 비용 효율성 부문에서 새로운 최첨단을 확립한다.

Macaron-V1은 실제 환경에서의 경험을 통해 학습하고 배포 후에도 지속적으로 학습하는, 경험적 지능을 위한 오픈 에이전트-모델 패밀리이다. 이는 두 가지 시스템 목표를 중심으로 구성된다. 적응(Adaptation)은 버전 관리형 모델-하네스 쌍의 재귀적 개선을 통해 구현되며, 한 구성(configuration)에서 얻은 경험은 외부 계약(external contract) 하에서 평가되어 후속 구성을 구축하는 데 사용된다. 협업(Collaboration)은 기본 모델을 고정하고 전문 LoRA 어댑터를 구성하며 사용자 턴(turn)마다 하나의 LoRA를 선택하는 LoRA 혼합(MoL: Mixture-of-LoRA) 아키텍처를 통해 구현된다. 주력 모델인 Macaron-V1-Venti는 744B GLM-5.2 기본 모델에 채팅, 에이전트, 코딩, GenUI용 네 개의 LoRA를 결합하며, Qwen3.6 기반 Macaron-V1-Tall(50B)은 로컬 배포를 위해 동일한 설계를 사용한다. 본 보고서는 Macaron-V1을 아키텍처, 알고리즘, 인프라를 포괄하는 공동 설계 시스템으로 제시한다. MoL 아키텍처는 확장 가능한 LoRA 전문가를 통해 지속 학습을 지원한다. 알고리즘은 모델-하네스 공동 설계(Model-Harness Co-design)와 재귀적 자기 개선 루프를 결합하며, 여기에는 UI4A 컴포넌트 네이티브 GenUI 하네스, 상태 유지형 액션 서브스트레이트, 버전 관리형 HCP 계약, 에이전트형 RL 프레임워크인 MindForge가 포함된다. 지원 인프라로는 사후 학습 플랫폼 MinT, 장문맥 RL 방법 LongStraw, 희소 MoE 및 DSA 기본 모델을 위한 안정성 기법이 포함된다. 우리는 Macaron-V1을 Personal Intelligence, GenUI 및 일반 능력 벤치마크에서 최첨단 기준 모델들과 비교 평가한다. 실험 결과는 현재 시스템을 검증하며, 지속 학습과 집단 지능으로부터의 누적적 이득(compounding gains)은 여전히 미해결 과제로 남아 있다.

AI 코딩 에이전트가 점차 더 복잡하고 장기적인 소프트웨어 엔지니어링 작업을 맡게 되면서, 기존 벤치마크는 빠르게 포화 상태에 이르렀고 그 평가 품질은 심각한 정밀 조사를 받고 있다. 최근 감사에서는 SWE-bench Verified의 미해결 인스턴스 중 약 60%가 결함 있는 테스트를 포함하고 있음이 밝혀졌는데, 이는 올바른 해결책을 거부하는 지나치게 좁은 테스트이거나 명시되지 않은 요구사항을 검사하는 지나치게 넓은 테스트이다. 또한 최첨단 모델이 훈련 데이터의 골드 패치를 문자 그대로 재현할 수 있음도 확인되었다. 코드 리팩토링은 여러 파일에 걸쳐 상호 조정되고 동작을 보존하는 변경을 요구하므로 에이전트 능력을 평가하는 훨씬 더 어렵고 현실적인 시험이 되지만, 현재 벤치마크에서는 충분히 다루어지지 않는다. 이에 우리는 7개 프로그래밍 언어(Python, Java, TypeScript, Go, C, C++, Rust)의 실제 커밋에서 추출한 170개 인스턴스로 구성된, 전문가 선별 다국어 코드 리팩토링 벤치마크인 SWE-Bench ProMax를 소개한다. 모든 인스턴스는 기존 벤치마크에서 확인된 품질 문제를 직접 해결하는 엄격한 다단계 선별 과정을 거친다. 이슈 설명은 정확하고 모호함이 없는 사양을 제공하기 위해 처음부터 다시 작성되며, 테스트 스위트는 지나치게 좁거나 넓은 테스트를 제거하기 위해 수동으로 검토된다. 복잡성이 불충분하거나 파일 간 범위가 제한적인 작업은 걸러내어, 인스턴스당 평균 11.4개의 수정된 파일과 261.6줄의 코드를 포함하는 도전적이고 대규모의 리팩토링 작업 벤치마크를 구축하였으며, 이는 기존 벤치마크의 규모를 크게 초과한다. 두 가지 에이전트 스캐폴드에서 최첨단 모델을 실험한 결과, 최고 성능 모델이 41.2%의 해결률만을 달성하여 SWE-Bench ProMax가 현재 AI 코딩 에이전트에게 의미 있고 포화되지 않은 도전 과제를 제시함을 확인한다. 본 벤치마크는 https://huggingface.co/datasets/swe-bench-promax/SWE-Bench-ProMax에서 확인할 수 있다.

본 논문은 Ouroboros를 제시한다. Ouroboros는 자기-발전형(self-developing) 에이전트 하네스로, 도구, 프롬프트, 컨텍스트 구성, 핵심 구현이 검토된 커밋을 통해 개선되며, 이렇게 개선된 산출물이 이후 작업의 런타임이 된다. 핵심 진화는 두 가지 모드로 진행된다. 재귀적 자유 진화(recursive free evolution)에서 개선 자체가 하나의 과업이며, 한 진화 주기를 완료하면 다음 주기를 예약할 수 있다. 경험 기반 핵심 진화(experience-driven core evolution)에서는 일상적인 작업과 사회적 상호작용이 버그, 미흡한 부분, 비효율적인 컨텍스트 구성을 드러내고, 이는 검토된 구조 변경으로 이어진다. Terminal-Bench 2.1에서 Opus 5 실행은 86.74%를 기록하여 해당 벤치마크에서 보고된 최고 성과를 달성했다. OSWorld-Verified에서는 Opus 5 실행이 90.69%에 도달하여 기존 최고 보고 점수를 상회했다. 5회 롤아웃 CL-Bench 캠페인은 0.2301의 정규화 보상을 달성하여 새로운 최고 수준(state of the art)을 수립했다. Hope는 공개적으로 문서화된 Ouroboros 배포 사례 중 가장 오래 운영된 사례이다. 이는 7개 표면에 걸쳐 통제된 인간 커뮤니케이션 하에서 자유 진화를 수행한 161일간의 실시간 에이전트 실험이다. 인간 상호작용은 결함을 표면화하고 제안을 생성하지만, 추구할 변경 사항을 결정하는 것은 에이전트이다. 자기-발전형 에이전트는 자신의 코드를 다시 작성하고 새로운 모델 API를 선택할 수 있기 때문에, 운영 안전성이 핵심 설계 문제로 대두된다. 즉, 안전장치(guardrail)는 진화적 압력과 공개적 사회적 압력 하에서도 권위를 유지해야 한다. 벤치마크 캠페인은 동결된 시스템 스냅샷을 사용하는 반면, Hope는 별도의 계보(lineage)에서 실시간 진화를 계속한다.

On-policy (자기) 증류(OPD/OPSD)는 대규모 언어 모델(LLM)의 후속 학습에서 강력한 잠재력을 보여 왔다. 그러나 기존 방법들은 정답(ground-truth) 신호, 환경 피드백, 더 큰 모델의 안내와 같은 외부 지도에 크게 의존하고 있어, 진정한 '자기' 증류에는 미치지 못한다. 본 연구에서는 내적 일관성을 통해 오직 모델 자신의 생성 결과만을 사용하여 on-policy 자기 증류를 달성할 수 있음을 보인다. 우리는 비지도 on-policy 자기 증류(U-OPSD)를 제안한다. U-OPSD는 먼저 여러 롤아웃을 샘플링하고, 자기 일관성 임계값 하에서 다수결 투표를 통해 의사 해답을 구성한다. 그런 다음 의사 해답을 조건으로 모델 분포를 설정하고, 불일치하는 생성 결과에 대해 자기 증류를 수행함으로써, 모델이 확신을 가지고 틀리는 지점을 정확히 스스로 교정할 수 있게 한다. 다양한 벤치마크, 기본 모델, 학습 설정에서 U-OPSD는 기본 모델 대비 일관된 성능 향상을 보이며, 정답(GT)을 사용하는 OPSD 및 GRPO와 같은 지도 학습 방법과 동등하거나 능가한다. 다섯 가지 수학 추론 벤치마크(AIME24, AIME25, HMMT25, MATH500, AMC23)에서 U-OPSD는 Qwen3 non-thinking 모드의 4B 및 8B 규모에서 기본 모델 대비 각각 8.5%와 10.7%의 성능 향상을 보이며, 평균적으로 OPSD를 각각 3.2%와 2.3% 능가한다. Thinking 모드에서는 OPSD와 동등한 수준을 유지하며, 4B에서 0.9% 앞서고 8B에서 동일하며, GRPO를 각각 0.7%와 1.1% 능가한다. 코드는 [https://github.com/williamium3000/u-opsd](https://github.com/williamium3000/u-opsd)에서 확인할 수 있다.

우리는 총 3140억 개의 파라미터와 토큰당 132억 개의 활성화 파라미터를 가진 디코더 전용 Mixture-of-Experts 언어 모델인 Motif 3를 소개한다. 각 희소 MoE 레이어는 384개의 라우팅 전문가를 포함하며, 토큰당 8개가 선택된다. 이러한 세분화된 희소성은 연산을 제한하면서도 상당한 전문가 용량을 제공한다. Motif 3는 그룹 차등 잠재 어텐션(GDLA)을 중심으로 구축되었으며, GDLA는 그룹 차등 어텐션과 멀티헤드 잠재 어텐션의 압축된 키-값 표현을 통합한다. 이 아키텍처는 또한 최적화 안정성, 전문가 전문화, 추론 효율성을 개선하기 위해 수정된 매니폴드 제약 하이퍼 연결, 전문가별 PolyNorm 활성화, 다중 토큰 예측을 통합한다. 우리는 웹 문서, STEM, 코드, 수학, 다국어 콘텐츠, 도메인 특화 말뭉치에 걸친 약 12.5조 개의 토큰으로 Motif 3를 사전 학습한다. 전문가 균형 및 수치 안정화 기법은 대규모에서의 안정적인 학습을 지원하며, 선택적 MXFP8 연산 및 통신, 메모리 효율적인 융합 커널, 윈도우 인지 컨텍스트 병렬 처리는 최대 256K 토큰의 컨텍스트 길이로 학습을 가능하게 한다. 우리의 후학습 파이프라인은 일반 지도 미세 조정, 강화 학습으로 학습된 6개의 전문 교사 모델, 지도 미세 조정으로 학습된 소프트웨어 엔지니어링 교사 모델, 다중 교사 온-정책 증류를 결합한다. 그 결과 얻어진 통합 모델은 추론, 코딩, 도구 사용, 전문 작업, 장문맥 이해, 보정된 기권, 지시 수행의 상호 보완적 능력을 결집한다. 광범위한 평가 스위트에서 Motif 3는 주요 오픈 가중치 모델 대비 경쟁력 있는 성능을 입증하며, 특히 장기 지평 에이전트 작업, 수학적 추론, 과학적 지식, 환각에 민감한 평가에서 강력한 결과를 나타낸다.

주요 대규모 언어 모델 제공업체들은 이제 지적 재산을 보호하고 정보 유출을 제한하기 위해 모델의 단계별 추론 과정, 즉 사고 사슬(chain-of-thought)을 숨기고 있다. 제공업체는 이러한 추적 기록을 서버 측에 저장하는 대신 암호화된 텍스트 블록 형태로 클라이언트에 반환하며, 클라이언트는 이후의 각 요청에 이를 다시 전달한다. 우리는 선행 연구를 기반으로 구조적 취약점을 식별한다. 이러한 암호화된 블록은 제공업체 생태계 내에서 서로 다른 세션, 사용자, 모델 간에 완전히 호환되고 상호 교환이 가능하다는 점이다. 우리는 이러한 호환성을 악용하여 확장 가능한 복호화 탈옥 기법을 개발한다. 특정 모델의 암호화된 추론 추적 기록을 동일 제공업체의 더 약하고 보호 장치가 덜 갖춰진 모델에 주입함으로써, 더 강력한 모델을 직접 탈옥하지 않고도 해당 모델이 추적 기록을 해독하여 평문으로 그대로 출력하도록 강제할 수 있다. 이러한 취약점은 네 가지 별개의 공격 벡터를 가능하게 한다. 첫째, 증류 방지 메커니즘을 우회하여 공격자가 독점 모델의 추론 내용을 추출할 수 있게 하며, 우리는 이를 Anthropic, OpenAI, Google에서 입증한다. 둘째, 대규모 개인 데이터 추출을 가능하게 한다. 개발자들은 암호화된 블록의 내용을 인지하지 못한 채 세션 로그를 공개적으로 공유하는 경우가 빈번하다. 공개 저장소에서 수집한 315,320개의 추론 블록을 복호화하여 우리는 367개의 개인 식별 정보(PII) 항목과 182개의 자격 증명을 복구했다. 셋째, 모델의 최종 가시적 출력이 악의적인 요청을 안전하게 거부하는 경우에도, 추론 과정에 숨겨진 위험한 정보가 의도치 않게 노출된다. 넷째, 공격자는 이 결함을 활용하여 암호화된 블록 내에 악성 페이로드를 완전히 내장함으로써 보이지 않는 프롬프트 주입을 실행하고 공개 에이전트 배포를 오염시킬 수 있다. 책임 있는 공개 절차에 따라, 우리는 클라이언트 측 추론을 보호하기 위한 구체적인 암호화 및 시스템 수준의 완화 방안을 제안한다.

메모리 시스템은 에이전트 성능 향상에 유망한 가능성을 보여주었지만, 소규모 언어 모델의 경우 그 잠재력은 대체로 탐구되지 않은 채 남아 있다. 소규모 언어 모델은 스스로 충분한 성공 궤적을 생성하는 데 어려움을 겪기 때문이다. 본 논문에서는 대규모 교사 에이전트의 구조화된 지식을 계층적 메모리를 통해 소규모 학생 에이전트로 전이하는 추가 학습이 필요 없는 프레임워크인 Agent Memory Distillation(AMD)을 제안한다. AMD는 성공적인 교사 궤적으로부터 세 가지 상호 보완적인 메모리 유형을 구축한다. 워크플로우 메모리는 작업 수준의 전략을 인코딩하고, 하위 작업 메모리는 중간 세분화 수준에서 구체적인 행동 예시를 제공하며, 함수 메모리는 함수별 호출 규칙과 일반적인 함정을 포착한다. 워크플로우 및 하위 작업 메모리는 각 작업 시작 시 선제적으로 주입되는 반면, 함수 메모리는 도구 호출 오류 발생 시 반응적으로 검색된다. 본 연구는 GPT-5-mini를 교사 모델로, 4B~8B 파라미터의 4개 학생 모델을 사용하여 세 가지 도구 사용 벤치마크에서 AMD를 평가하였으며, AppWorld, BFCL V3, ToolSandbox에서 평균 정확도가 각각 27.2%p, 11.2%p, 3.4%p 향상되어 기존 메모리 기반 기준선들을 일관되게 능가하는 결과를 보였다. 추가 분석에 따르면 하위 작업 메모리가 가장 큰 성능 향상을 기여하며, 교사 모델의 효과성은 교사 역량과 학생 모델 호환성 모두에 의존하고, 4B 규모의 학생 모델이 AMD의 이점을 가장 많이 얻는 것으로 나타났다.

우리는 과학적 영역 전반에 걸쳐 지식 및 추론 집약적 비디오 생성을 평가하기 위한 포괄적인 벤치마크인 Sci-VBench를 소개한다. Sci-VBench는 자연과학, 의료, 인문·사회과학, 공학의 네 가지 핵심 학문 분야에 걸친 60개 주제를 아우르는 1,253개의 전문가 주석 예시로 구성된다. 각 예시는 모델이 표면적 수준의 시각적 그럴듯함을 넘어 과학적 추론과 지식 기반 합성을 요구하는 시간적으로 풍부한 비디오를 생성해야 한다. 또한 우리는 루브릭 기반 평가 프로토콜을 구축한다. 우리의 분석에 따르면, 이 프로토콜 하에서 비전문가 인간 평가자와 MLLM-as-Judge 시스템 모두 전문가 판단과 비교적 높은 일치도를 달성할 수 있어 대규모 재현 가능한 평가를 지원한다. 우리는 16개의 최첨단 독점 및 오픈소스 모델을 벤치마킹한 결과, 자동 지각 품질 점수는 시스템 전반에 걸쳐 밀집하게 분포하는 반면, 프롬프트 충실성과 과학적 및 인과적 정확성에서는 상당한 차이를 보이며 독점-오픈소스 간 격차가 두드러짐을 발견했다. 이러한 결과는 시각적 사실성의 발전이 아직 과학적 및 인과적 역학의 신뢰할 수 있는 모델링으로 이어지지 않았음을 보여준다.

대화형 어시스턴트는 사용자가 작업을 계속 이어갈 수 있도록 후속 편집안을 점점 더 많이 추천하고 있다. 기존 시스템은 주로 텍스트 전용 상호작용을 대상으로 하여 이미지 생성 대화는 충분히 탐구되지 않았다. 이미지 생성 작업에서 유용한 후속 편집 제안은 사용자 선호도를 반영하고, 다양한 방향을 제시하며, 현재 이미지에 대해 실행 가능해야 한다. 우리는 Qwen App에서 10만 개의 실제 다중 턴 이미지 생성 대화 샘플을 수집했으며, 이 중 80.1%가 이미지 의존적임을 발견하여 멀티모달 추천의 필요성을 확인했다. 우리는 이 문제를 3단계 프레임워크로 해결한다. 1단계에서는 실제 온라인 데이터를 사용하여 적절한 후속 편집 의도에 대한 사람이 검토한 테이블을 구축하고, SFT 타깃을 만들어 멀티모달 정책을 미세 조정한다. 2단계에서는 규칙 기반 SFT 제안을 실제 사용자 선택과 정렬하기 위해 사용자 클릭 피드백을 사용하여 다중 목표 강화 학습으로 정책을 최적화한다. 3단계에서는 제안된 편집과 현재 이미지 간의 시각적 불일치를 줄이기 위해 시각 검증기를 추가 훈련 감독으로 도입한다. 광범위한 실험을 통해 우리 프레임워크가 자동 평가와 인간 평가 모두에서 베이스라인을 유의미하게 능가함을 입증한다. 수백만 명의 사용자를 대상으로 한 실시간 사용자 무작위 배정 A/B 테스트에서 최종 프레임워크는 시각적 불일치를 3.7%에서 0.9%로 줄였다. 또한 추천 CTR(클릭률)을 32.70%, 이미지 가져가기 비율을 16.32%, 사용자당 평균 대화 턴 수를 39.90% 유의미하게 개선했다(모두 p<0.05).

대규모 언어 모델(LLM) 추론 서빙은 점점 더 연산보다 메모리에 의해 제약을 받고 있다. 장문 컨텍스트(long-context) 및 장문 추론(long-form reasoning) 워크로드가 보편화됨에 따라, 키-값(KV) 캐시는 LLM 토큰 생성, 즉 디코딩 과정에서 메모리 사용량과 메모리 트래픽을 모두 지배하게 되었다. 특히 HBM 용량은 추론 배치 크기와 시스템 처리량을 크게 제한하는 희소하고 비용이 많이 드는 자원이 되었다. 본 논문은 LLM 디코딩 중 전체 KV 캐시 저장소를 HBM에서 분리함으로써 HBM 용량 압력을 완화하는 메모리 중심의 LLM 추론 시스템 설계인 OasisKV를 제시한다. 디코딩 시점의 어텐션은 자연적으로 희소하기 때문에, OasisKV는 어텐션 계산을 위해 가장 관련성 높은 토큰의 KV 항목만 HBM에 유지한다. 우리는 투기적 디코딩(speculative decoding, SD)이 제안한 선행 토큰(lookahead tokens)을 사용하여 미래에 중요한 토큰을 사전에 정확하게 예측할 수 있음을 관찰한다. OasisKV는 중요한 KV 블록을 식별하기 위해 효율적인 어텐션 백그라운드 파이프라인을 사용한다. 그런 다음 이 블록들은 더 큰 용량의 메모리 계층(예: 호스트 또는 원격 메모리)에서 프리페치되어 다음 디코드 단계에서 사용되기 전에 HBM에 배치된다. 우리는 vLLM을 기반으로 OasisKV를 구현한다. 선행 예측은 2,048토큰 KV 예산 하에서 전체 어텐션 대비 정확도를 0.7포인트 이내로 유지할 만큼 정확하다. 이를 통해 OasisKV는 희소성을 처리량 향상으로 전환한다: 추론 워크로드에서는 정확도 손실 0.1포인트로 밀집(dense) vLLM 대비 1.69배, 다중 GPU 장문 컨텍스트 서빙에서는 최대 2.1배의 처리량을 달성한다. 프리필-디코드 분리(prefill-decode disaggregation) 환경에서 OasisKV는 전체 KV 전송과 비교하여 각 요청을 6.5~9.7배 적은 KV로 수용하고 디코드 노드 호스트 메모리를 2.2~2.6배 적게 점유하면서 밀집 처리량의 약 2배에 도달한다.

온-폴리시 증류(OPD)는 학생이 생성한 궤적에 대해 조밀한 교사 감독을 제공하지만, 표준 역방향 KL 훈련은 다른 그럴듯한 연속 생성에 충분한 확률을 할당하지 못할 수 있다. 교사 엔트로피만으로는 불확실성이 소수의 유력한 다음 토큰에 집중되어 있는지, 아니면 긴 확률 꼬리에 분산되어 있는지, 그리고 학생이 그러한 후보들을 이미 잘 표현하고 있는지를 알 수 없다. 더욱이 국소적 교사 확률은 다운스트림 성공을 예측하지 못할 수 있다. 우리는 획득-탐색-활용 절차를 통해 ‘어디를 탐사할지’와 ‘무엇을 증류할지’라는 두 가지 결합된 결정을 다루는 SPOT(Sparse Probing and Outcome-calibrated Targets OPD)을 소개한다. 획득 단계에서는 위치 수준 점수가 정규화된 교사 엔트로피, 작은 상위-k 후보 집합이 포착하는 확률 질량, 그리고 학생-교사 불일치를 결합하여 제한된 탐사 예산을 배분한다. 탐색 단계에서 SPOT은 검증기가 점수를 매긴 학생 연속 생성을 통해 교사가 제안한 후보들을 평가한다. 활용 단계에서는 이러한 결과들이 폐쇄형 KL 정규화 타깃을 생성하며, 이는 더 나은 다운스트림 결과를 가진 후보들을 선호하면서도 교사 분포에 고정된 상태를 유지한다. 여러 학생 모델과 추론 벤치마크에 걸친 광범위한 실험은 SPOT이 솔루션 품질과 적용 범위의 균형을 유지하면서 추론 성능을 향상시키는 데 효과적임을 입증한다.

해석 가능성은 종종 성능에 대한 세금처럼 취급된다. 언어 모델은 불투명한 시스템으로 훈련된 뒤, 신뢰성을 확립하기 어려운 방법들로 사후에 설명된다. 본 연구에서는 이러한 전제에 도전한다. 우리는 모델을 역공학하는 대신, 해석 가능성을 언어 모델링 목적 함수와 함께 최적화되는 훈련 파이프라인의 제약 조건으로 만든다. 계산량의 세 자릿수 범위에 걸쳐, 자기회귀 및 확산 언어 모델 모두에서 해석 가능성은 성능과 반비례하는 것이 아니라 비례하여 확장된다. 놀랍게도, 모델의 표현은 규모가 커질수록 더욱 분리되고 인간이 이해할 수 있는 개념과 정렬된다. 우리는 인과적 어텐션 마스크를 갖춘 확산 언어 모델인 Steerling-8B로 훈련 중 해석 가능성 기법을 구현한다. 생성된 토큰의 모든 그룹에 대해 Steerling-8B는 출력을 관련 입력 토큰, 인간이 이해할 수 있는 개념, 그리고 훈련 데이터에 귀속시킨다. 이를 통해 폐루프 개입이 가능해진다: 개념 또는 특징 귀속을 통해 출력을 진단하고, 유사한 훈련 데이터를 검색하며, 재훈련 없이 개념 조향을 통해 행동을 수정한다. Steerling-8B는 2~16배 더 많은 계산량으로 훈련된 공개 동급 모델들과 경쟁력을 유지하며, 이는 새로운 스케일링 패러다임을 시사한다: 해석 가능성은 훈련에 설계될 수 있으며, 규모가 커질수록 개선된다.

대규모 언어 모델(LLM)은 자율 에이전트 분야의 급속한 발전을 견인해 왔으나, 표준 평가 방식은 여전히 정적 과제 해결에 국한되어 있다. 새로운 연구의 최전선은 하네스 진화(harness evolution), 즉 에이전트가 자신의 운영 하네스를 자율적으로 최적화하는 능력이다. 그러나 기존 평가 방식은 하네스 개선을 기본 모델의 성능과 분리하지 못하거나, 과제별 과적합을 방지하지 못하거나, 장기적 반복 연구를 포착하지 못하는 한계가 있어 이 능력을 체계적으로 벤치마킹하는 것은 여전히 어려운 과제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 검색(Search), 오피스(Office), 일반(General) 에이전트 도메인에서 모델의 본질적인 하네스 진화 능력을 평가하도록 설계된 최초의 벤치마크인 Evo-Bench를 소개한다. 이 능력을 엄밀하게 분리 평가하기 위해, Evo-Bench는 새로운 하네스 기반 구축 프레임워크를 채택한다. 이 프레임워크는 보조 과제 진화(auxiliary-task evolution)를 활용하여 프레임워크 개선에 진정으로 민감한 과제를 식별하고, 이어서 민감도 인식 계층 분할(sensitivity-aware stratified splitting)을 적용하여 강건한 교차 스위트 일반화를 보장한다. 아홉 개의 최첨단 및 오픈 가중치 모델에 대한 광범위한 평가 결과, 최상위 모델은 16.6포인트에 달하는 큰 절대적 성능 향상을 달성하여 최첨단 수작업 설계 기준선에 근접하는 것으로 나타났다. 중요한 점은, 자율 진화가 일반 과제에서 수작업 하네스를 능가하고 검색 과제에서 탁월한 성과를 보이는 반면, 고도로 특화된 처리 워크플로우를 요구하는 오피스 과제에서는 어려움을 겪는다는 것이다. 또한 우리의 분석은 조기 포화와 같은 중대한 시간적 이상 현상을 드러내는 동시에, 합성된 하네스가 전이 가능성이 높은 추론 구조로 작용하여 다양한 정책 모델을 일관되게 향상시킴을 입증한다.

자기 진화하는 LLM 에이전트를 위한 학습 기반 메모리 시스템은 긴밀하게 결합된 두 가지 과제에 직면한다. 첫째, 궤적 인덱스 유틸리티는 상호작용 이력에 따라 증가하므로 제한된 피드백을 끊임없이 확장되는 상태 공간에 분산시킨다. 둘째, 궤적 수준의 보상은 함께 검색된 메모리에 공동으로 할당되기 때문에 무관한 경험이 오도하는 유틸리티 업데이트를 받아 결과적으로 메모리-보상 함정에 빠질 수 있다. 이러한 과제를 해결하기 위해 우리는 결과 극성과 메모리 동역학으로 분해된 고정 차원의 작업별 메모리 상태로 증가하는 궤적 인덱스 유틸리티 공간을 표현하는 차수 축소 메모리 강화 학습(Reduced-Order Memory Reinforcement Learning, RoMeRL)을 도입한다. RoMeRL은 내용이 시간에 따라 업데이트되거나 대체되는 고정된 의미 좌표 집합을 통해 새로운 경험을 통합함으로써 피드백을 유계 유틸리티 지지 집합에 집중시킨다. 이론적으로, 우리는 이러한 차수 축소 파라미터화가 각 유틸리티 좌표가 받는 평균 피드백을 증가시킨다는 것을 보이고, 일반적인 좌표 전이 모델 하에서 오류 좌표의 정상 상태 점유율을 특성화한다. 실험적으로, ALFWorld와 LifelongAgentBench에서 RoMeRL은 작업 성능을 향상시키고, Cold-Q 비율을 80.0% 감소시키며, 피드백 밀도를 약 6.0배 증가시키고, 유지 메모리 크기를 84.4% 줄이며, LLM 호출을 21.1% 절감한다. 이러한 결과는 차수 축소 유틸리티 상태가 지속적인 보상 오염을 제한하면서 효율적인 자기 진화 에이전트 메모리를 지원한다는 것을 보여준다. 코드는 https://github.com/YOUNG-fnxm/RoMeRL 에서 확인할 수 있다.

비전-언어 모델(VLM)은 언어 사전 지식, 데이터셋 지름길, 또는 무관한 시각적 맥락보다는 구체적인 이미지 증거를 바탕으로 응답해야 한다. 기존의 지각 기반 사후 학습 방법들은 전역 섭동이나 주의 프록시를 통해 이미지 사용을 장려하지만, 샘플링된 응답이 이를 뒷받침하는 국소적 증거에 인과적으로 의존하는지 여부는 검증하지 않는다. 본 논문에서는 VLM 근거 설정을 위한 학습 시점 증거 감사 방법인 반사실적 증거 분리(CED)를 제안한다. CED는 각 응답에 대해 객체 중심 증거 영역을 중화시키고, 이로 인한 지지도 하락을 매칭된 비증거 영역과 비교한다. 우리는 이 신호를 GRPO 내부의 답변 정확도와 결합하여, 지름길 경로나 교란 경로가 아닌 증거 경로에 의존하는 정답에 보상을 부여한다. CED는 약한 객체 수준 제안을 활용하며, 질문별 증거 주석이 필요 없고, 추론 시 오버헤드도 추가하지 않는다. 아홉 개의 공개 벤치마크와 네 개의 백본에 걸친 실험에서, CED는 기존의 강화학습 기반 사후 학습 방법들을 능가하며, 정밀 분석을 통해 객체 중심 신호의 유효성을 검증한다.

범용 보상 모델은 로봇 학습의 확장에 있어 점점 더 중요한 병목 지점이 되고 있으나, 대규모 이질적 코퍼스에서 가치 관련 능력을 학습하는 방법론은 아직 충분히 탐구되지 않았다. 기존 접근법들은 선호도나 정규화된 진행도와 같은 과업 내부 기준에 학습 신호를 연계하지만, 이러한 기준들 중 어느 것도 서로 다른 임보디먼트와 데이터 소스 간에 깔끔하게 전이되지 않는다. 본 논문에서는 로봇 조작을 위한 오픈소스 가치 파운데이션 모델인 RynnValue를 소개한다. RynnValue는 이러한 기준들을 시간적 거리(temporal distance), 즉 관측값에서 언어로 지정된 목표까지의 방향성 잔여 비용(cost-to-go)으로 대체한다. 시간적 거리 라벨은 타임스탬프에서 직접 도출할 수 있으므로, RynnValue는 선호도나 진행도 주석 없이도 7,000시간 이상, 약 300만 개의 지시어 조건부 클립으로 확장이 가능하다. 대규모에서 시간적 가치 학습의 신뢰성을 확보하기 위해, 무작위 시간 샘플링, 시간 순서 셔플링, 가치 격리 어텐션(value-isolation attention)을 결합하여 예측이 실패와 회귀에 둔감해지는 지름길 학습을 억제한다. 선호도 라벨 없이 학습된 RynnValue는 RBM-EVAL-OOD에서 평균 켄달의 타우_a 0.675를 달성하여 완전히 선호도로 학습된 최신 기법(0.655)을 능가하고, 진행도만 사용한 대비 모델(0.292)의 두 배 이상의 성능을 보인다. 또한 미지의 과업, 임보디먼트, 시점에 대해 제로샷 일반화를 달성한다. 전위 기반 shaping(potential-based shaping)을 통해 조밀한 보상으로 변환되었을 때, 실제 로봇 정책의 성공률은 온라인에서 52.5%에서 72.5%로, 오프라인에서 63.8%에서 82.5%로 향상된다. 이러한 결과는 시간적 거리가 범용 로봇 정책을 위한 확장 가능한 학습 신호이자 실용적인 보상 인터페이스임을 입증한다.

대규모 언어 모델(LLM)의 급속한 발전에 힘입어 하네스는 다양한 도메인에 걸쳐 에이전트를 배포하기 위한 필수 인프라가 되었다. 빠르게 진화하는 하네스 생태계는 또한 엄격한 성능 평가의 중요성을 더욱 부각시키고 있다. 그러나 엔드투엔드(end-to-end) 방식의 체계적이고 포괄적인 평가 파이프라인을 효율적으로 구축하는 것은 여전히 중요한 과제로 남아 있다. 이러한 과제를 해결하기 위해 우리는 에이전트 하네스를 위한 엔드투엔드 평가 엔진인 A^2E(Agent Auditing Engine)를 소개한다. A^2E는 새롭게 제안하는 에이전트 작업 프로토콜(Agent Task Protocol, ATP)을 활용하여 서로 다른 하네스와 평가 작업을 신속하게 통합할 수 있게 한다. 자동으로 계측된 모니터를 통해 A^2E는 실험 중 표준화된 실행 추적(execution traces)을 포착하고 생성한다. 평가 단계에서 A^2E는 다차원 메트릭스 세트를 사용하여 하네스의 성능을 체계적으로 평가한다. 이러한 메트릭스는 정확도만을 사용하는 것과 비교하여 하네스 간 실행 효율성, 도구 사용, 작업 계획, 오류 복구 측면의 차이를 더욱 세분화된 방식으로 특성화한다. A^2E를 통해 수행된 실험은 모델-하네스 조합이 작업 유형에 따라 상당한 성능 변동을 보이며, 모든 작업에서 일관되게 우수한 성능을 보이는 단일 조합이 존재하지 않는다는 점을 추가로 밝혀낸다. 이러한 발견은 체계적인 평가의 필요성을 입증할 뿐만 아니라 모델과 하네스의 공동 진화를 위한 유용한 지침을 제공한다. 우리의 코드는 https://github.com/datamllab/A2E에서 확인할 수 있다.

사업을 운영하는 것은 난이도가 높은 지적 작업이다. 운영자는 불완전한 신호에서 기회를 추론하고, 불확실성 속에서 자본을 투입하며, 변화하는 시장에서 지연되어 나타나는 결과에 적응하고, 합법적으로 거래하기 전에 규제 요건을 충족해야 한다. 최첨단 LLM 에이전트는 점점 더 복잡한 워크플로우를 완수할 수 있지만, 비즈니스 관련 역량은 기존 에이전트 벤치마크에서 거의 평가되지 않는다. 우리는 AI 에이전트가 국경 간 상점을 운영하며 장기간에 걸쳐 공급업체로부터 구매하고 구매자에게 판매하는 통제된 환경인 Business Arena를 소개한다. 우리는 이 아레나를 실제 Alibaba.com 소싱 데이터와 권위 있는 출처에서 보정한 시장 조건에 기반하여 구축했다. 지연되고 상호 연계된 결과는 개별 비즈니스 결정을 판단하기 어렵게 만들지만, 결합된 결과는 이윤을 통해 측정할 수 있다. 이윤만으로는 에이전트의 성공과 실패 이유를 설명할 수 없으므로, 우리는 에이전트를 인간이 설계한 전략과 비교하여 가용 기회를 추정하고, 스킬 수준 지표를 사용해 근본적인 강점과 약점을 드러내며, 실현된 이익과 손실을 이를 만들어낸 행동까지 추적한다. 우리는 메커니즘 제거 실험을 통해 강력한 결과가 과제를 무시하거나 시뮬레이터 특유의 지름길을 이용한 데서 비롯된 것이 아니라 진정한 비즈니스 지능을 반영한다는 것을 입증한다. 우리는 15개의 최첨단 모델을 평가했고, 평균 최종 순자산에서 9배 차이를 발견했다. 최고의 모델조차 인간이 설계한 전략에 뒤처지며, 이는 LLM 에이전트에게 비즈니스 운영이 여전히 어려운 과제임을 시사한다. 스킬 수준 분석은 마진 중심의 프리미엄 판매자부터 높은 회전율의 도매상, 고객 서비스 전문가에 이르는 운영 스타일을 드러내고, 행동 수준의 기여도 분석은 가치를 창출하거나 파괴하는 소싱, 가격 책정, 회복 결정을 식별한다. 이로써 Business Arena는 엔드투엔드 비즈니스 에이전트를 평가하기 위한 현실적이고 신뢰할 수 있는 테스트베드를 향한 첫 걸음이 된다.

대규모 분류 체계 검색은 종종 입력이 이미 대상 개념을 표현한다고 가정한다. 그러나 많은 상황에서 입력은 간접 증거에 불과하다. 예를 들어 표 셀의 의미는 해당 셀이 속한 행, 열, 데이터 유형, 그리고 맥락에 따라 달라진다. 우리는 이러한 불일치를 검색 준비도 격차(retrieval readiness gap)라고 부른다. 우리의 분석은 현재 인덱스가 의미가 명시적으로 드러날 때는 대상을 안정적으로 검색하지만, 원시 증거가 주어질 때는 대상이 순위 깊숙이 머무는 경우가 많다는 것을 보여준다. 우리는 명명된 의미 차원들에 걸쳐 여러 부분 해석을 유지하는 분해 가설 검색(Factorized Hypothesis Search, FHS)을 제안한다. 이러한 가설들은 구조화된 질의 렌더링, 다중 가설 검색, 차원 수준 후보 검증을 지원한다. 금융 분류 체계 태깅 및 CodiEsp 임상 코딩 작업 모두에서 FHS는 비-오라클 방법들 중 최고의 Recall@1, MRR, 그리고 최종 정확도를 달성한다. 분해 가설 경로를 자유 텍스트 앙상블로 대체하면 상위 순위 성능이 가장 크게 하락하며, 순차적 정제는 FHS의 강력한 병렬 첫 라운드에 비해 추가적인 이득을 제공하지 않는다.

사용자 시뮬레이터는 대화형 어시스턴트를 훈련하고 평가하기 위한 확장 가능한 환경으로 널리 사용된다. 다음 사용자 발화를 생성하는 것은 본질적으로 일대다(one-to-many) 문제이다. 동일한 프로필과 대화 맥락은 서로 다른 국소적 상호작용 의도를 가진 여러 그럴듯한 후속 발화를 지원할 수 있다. 따라서 유창한 응답이 수리(repair)가 아닌 수용(acceptance)과 같은 부적절한 의도로 대화를 진행시킬 수 있다. 우리의 핵심 통찰은 제어 가능한 사용자 시뮬레이션이 다음 사용자 발화가 실현해야 할 국소적 상호작용 의도(무엇을)와 그 의도가 언어로 표현되는 방식(어떻게)을 분리해야 한다는 것이다. 우리는 상호작용 의도를 각 턴의 명시적 지시문으로 노출하는 UserIDA(사용자 의도-지시 정렬, User Intent-Directive Alignment)를 제안한다. UserIDA는 여섯 가지 의도 인터페이스를 정의하고, 지도 미세조정을 통해 지시문 조건부 생성을 학습하며, 그룹 기반 강화학습에서 의도 보정 정책 최적화를 사용한다. 보상 함수는 혼합 그룹에서 의도를 위반한 후보가 의도를 준수한 대안보다 낮은 순위를 차지하도록 보장하면서 복합 응답 품질을 유지한다. LMSYS-USP에서 UserIDA는 86.6%의 의도 정확도를 달성하여 가장 강력한 전용 사용자 시뮬레이터 기준선보다 24.3% 포인트 높은 성능을 보이며, 의미적·문체적 유사도도 개선한다. 맥락 내 개입 실험에서 평가된 대화 상태의 91.7%에서 여섯 가지 목표 의도 중 최소 네 가지를 실현하며, 이는 가장 강력한 외부 기준선의 22.9%와 대비된다. 이러한 결과는 턴 단위 의도 제어가 사용자 시뮬레이션에서 응답 충실도와 상호보완적인 차원임을 입증한다.

인수분해된 모델 \(W = UV^\top\)에 대한 경사 하강법은 저랭크 해를 암묵적으로 선호하는 반면, 동일한 작은 초기화에서 시작하는 Adam은 그렇지 않다. 우리는 이 차이를 손실의 게이지 대칭, 즉 \((U,V) \mapsto (UQ, VQ)\) 변환에 대한 불변성에서 찾는다. 경사 흐름의 저랭크 메커니즘은 해당 최적화기가 게이지 등변일 때만 그 최적화기에 이용 가능하다. 이 조건은 전이에 필요조건이지만 저랭크 복원에는 충분조건이 아니다. 경사 하강법, 모멘텀, '공유 스칼라' Adam, Muon, Shampoo는 이를 만족한다. Adam, RMSProp 및 기타 좌표별 방법은 이를 만족하지 못한다. 구조 정리는 무기억 등변 규칙이 바로 그람 행렬에 의해 결정되는 왼쪽 프리컨디셔너들임을 특징화하고, 전이 정리는 경사 흐름의 경로별 속성을 공통 스칼라 흐름으로 전달한다. 그런 다음 우리는 과소결정 행렬 센싱에서 아홉 가지 업데이트 규칙을 심어진 참값에 대한 복원 오류 기준으로 정렬한다. 좌표별에서 공유 스칼라 프리컨디셔닝에 이르는 단일 매개변수 계열은 편향을 단조롭게 복원하며, 이로써 원인이 이방성임을 특정한다. '스펙트럼 스케줄'은 Muon에 대한 두 가지 상반된 보고 사이의 모순을 해소한다: 동일 비율 업데이트는 저랭크 목표를 정확히 복원하지만 스펙트럼 꼬리가 커질수록 그 우위를 잃는다. 트랜스포머에서 Adam은 첫 단계에서 두 개의 게이지 등가 초기화를 갈라놓는 반면, 등변 최적화기들은 두 초기화를 부동소수점 정밀도 수준에서 동일하게 유지하며, Adam은 최종적으로 헤드별 불변량 \(W_Q^\top W_K\)가 상대 프로베니우스 거리에서 56% 차이가 나는 상태에 도달하는데, 이는 어떤 헤드별 회전으로도 좁힐 수 없는 격차다. 두 개의 초분광 데이터셋에서 훈련 손실을 동일하게 맞췄을 때, 경사 하강법은 가장 낮은 샘플링 밀도와 더 낮은 유효 랭크에서 홀드아웃 오류를 43–44% 줄였다. 따라서 기저 선택은 튜닝 세부 사항이 아니라 최적화기가 어떤 보간 함수를 선택할지에 대한 결정이다.

대규모 언어 모델(LLM)은 점차 데이터 기반 추론기로 활용되고 있지만, 최종 답변이 정확하더라도 이들의 사고 사슬(CoT)은 불충실할 수 있다. 기존의 대부분 '검증' 신호는 진단적이지 않다. 답안 일치는 결과만을 관찰하고, LLM-as-judge는 주관적이고 검증 불가능한 비평을 제공하며, 스칼라 보상(예: PRM/RM)은 다단계 유도가 실패하는 지점에 대한 통찰을 거의 제공하지 않는다. 우리는 추론 검증을 구조화된 실패 진단으로 재구성하는 신경-기호 프레임워크인 SymDiag를 제안한다. SymDiag는 자연어 CoT를 기호 제약 조건으로 변환하고 단계별 만족 가능성/함의 검사를 수행하여 (i) 실패 단계를 특정하고 (ii) 반례, 불일치 증인, 누락 전제 지표를 포함한 검증 가능한 진단 증거를 생성한다. 핵심 과제는 겉보기의 '논리 위반'이 실제 추론 결함 또는 신경-기호 변환 잡음으로 인해 발생할 수 있다는 것이다. 따라서 SymDiag는 이중 기호 인코딩 일관성 검사를 통해 번역 오류(TranslationError)와 추론 오류(ReasoningError)를 분리하는 자가 감사기(Self-Auditor)를 통합하여, 부분 관측 가능성 하에서도 강건한 진단을 가능하게 한다. 다양한 수학, 논리, 과학 및 일반 추론 벤치마크에서 SymDiag는 불충실한 추론 탐지를 개선하고, 결과만 사용하는 검증 및 LLM 기반 판정보다 다회차 추론 수정에 훨씬 더 효과적인 피드백을 제공함으로써, 신뢰할 수 있고 확장 가능한 추론 진단을 위한 원칙적 기반을 제시한다.

평가 신호를 기준으로 최적화된 시스템을 위한 벤치마크는 주장하는 바와 다른 것을 측정한다. 우리는 홀드아웃 일반화 게이트를 갖춘 두 GPU 커널 최적화 스위트, 즉 Metal-Sci(과학 컴퓨팅 작업 10개)와 Metal-ZK(영지식/암호화 작업 12개)에서 이를 구체적으로 입증한다. 이 스위트에서 세 개의 최첨단 LLM(Opus 4.7, Gemini 3.1 Pro, GPT-5.5)이 풍부한 피드백을 제공하는 (1+1) 진화 루프 내에서 Metal 커널을 제안한다. 어떤 모델도 적대적으로 행동하도록 프롬프트되지 않았음에도 불구하고, 선택된 우승자들은 반복적으로 평가 구성을 지문화한다: 런타임 매개변수의 정체성에 따라 분기하여 측정된 분기를 최대한 튜닝하고, 측정되지 않은 분기는 느리거나 조용히 틀린 채로 남겨둔다. 전체 스위트를 통합했을 때, 분포 내 승리 53건 중 16건(30%)이 홀드아웃 구성으로 전이되지 못한다. 우리는 이러한 실패에 대해 구성 지문에서 게이트 누출에 이르는 네 가지 모드 분류 체계를 제시한다. 또한 전략적 최적화 하에서의 측정을 위한 설계 지침을 도출한다: 홀드아웃 검증은 열거 불가능한 축에서만 타당성을 유지하고, 게이트는 정확성뿐만 아니라 홀드아웃 성능을 측정해야 하며, 전이율은 실패별 메커니즘 등급이 있을 때만 해석 가능하다 — 우리의 전이율은 악용(gamed), 과적합(overfit), 양성(benign) 사례로 분해된다. 코드 및 연구 산출물: https://github.com/vicgalle/kernel-fingerprinting

언어 모델 기반 진화 알고리즘에서 LLM은 제어 흐름과 같은 구조적 구성 요소와 연속 매개변수를 동시에 업데이트하는 단일 연산자 역할을 수행한다. LLM은 전자의 경우에는 우수할 수 있지만, 후자의 경우에는 효율적이지 못하며 시행착오 루프 안에서 이산적인 점프를 반복하며 토큰을 낭비한다. 본 논문에서는 이를 해결하기 위해 하이브리드 중첩 탐색(hybrid nested search)을 공식화한다. 이 방식에서 외부 루프는 LLM이 수치적 공백이 포함된 구조적 스케치를 제안하고, 내부 수치 최적화기가 해당 스케치를 세부 조정한다. 외부 및 내부 솔버는 모두 교체 가능하여, 모든 텍스트 기반 최적화기가 0차 최적화기(CMA-ES), 그래디언트 기반 루틴 또는 MCMC 샘플러와 결합될 수 있다. 우리는 이 프레임워크를 세 가지 과학적 영역에서 검증한다: (i) 닫힌 형식 테스트 함수에 대한 메타 최적화기, (ii) 시스템 연구 및 사회적 딜레마를 위한 코드 기반 정책, (iii) 근사 베이지안 추론 작업. 세 영역 모두에서 하이브리드 최적화기는 기본 LLM 기반 탐색과 순수 수치 최적화 기준선보다 우수한 성능을 보였다. 코드: https://github.com/vicgalle/hybrid-nested-search

현대 플랫폼의 사용자들은 최근 대화의 요약을 반복적으로 필요로 하지만, 대화 윈도우에는 이를 단독으로 해석하기에 충분한 맥락이 포함되어 있는 경우가 드물다. 우리는 이러한 설정을 스트리밍 대화 요약(streaming dialogue summarization)으로 공식화한다. 여기서 시스템은 고정 예산(fixed budget) 하에서 무한한 이력(unbounded history)으로부터의 선택적 메모리를 활용하여 현재 윈도우를 요약해야 한다. 우리는 핵심 과제가 접근하는 이력의 양이 아니라, 메모리가 현재 윈도우가 전제하는 증거를 복구할 수 있는지 여부에 있음을 보여준다. 우리는 메모리가 간극 해소 증거(gap-resolving evidence)를 포함하는지와 생성된 요약이 이를 반영하는지를 각각 평가하는 벤치마크와 평가 프로토콜을 구축한다. 또한, 미해결 윈도우 의존성에 검색을 조건화하고 고정 예산 하에서 검색된 청크(chunk)를 증거 밀집 메모리로 정제하는 누락 증거 메모리 프레임워크인 ReMEMBER를 제안한다. 최대 160K 토큰의 이력을 가진 대화에 대한 실험 결과, ReMEMBER는 동일한 예산 하에서 메모리 구축 베이스라인 대비 메모리 재현과 간극 해소 완전성을 향상시키는 것으로 나타났다.

다국어 번역 벤치마크는 일반적으로 영어로 작성된 원문을 다른 언어로 번역하여 언어 쌍을 평가 단위로 취급하는데, 이러한 설계는 시간이 지남에 따라 데이터 오염에 취약하며 로케일 및 문화적 고려 사항을 간과한다. 따라서 우리는 소스 대조 평가(source-contrastive evaluation)를 제안하며, 이를 FLORES의 현지화 하위 집합인 Cultivar로 구현하여 로케일별 번역 평가를 가능하게 한다. 현지화되지 않은 대응 세트와 짝지어 비교하면 성능 차이를 통해 데이터 오염과 현지화 견고성을 탐지할 수 있다. 우리는 32개의 오픈 가중치 모델을 평가한 결과, 기계번역(MT) 특화 모델이 덜 견고하며, 일부 모델은 FLORES에 과적합되었을 가능성이 있고, 모델들은 언어와 무관하게 미국 콘텐츠를 다른 로케일의 콘텐츠보다 더 잘 번역하는 경향이 있음을 발견했다.

작가 기반(artist-grounded) 이미지 생성은 프롬프트에 작가 이름을 추가하는 것 이상을 요구한다. 이미지 모델은 사용자가 의도한 장면을 보존하기보다, 반복적인 모티프, 전형적인 팔레트, 과대표현된 시대적 특징과 같은 정형화된 숏컷(shortcut)을 통해 작가 이름에 반응하는 경우가 많다. 우리는 작가 기반 이미지 생성을 위한 숏컷 인지 제어 상태 계획 프레임워크인 Atelier를 제안한다. Atelier는 충분히 명시되지 않은 예술적 의도를 장면 앵커, 보존/변환 결정, 스타일 레짐 가설, 역할 기반 작가 증거, 숏컷 회피 제약으로 분리된 명시적 제어 상태로 변환한다. 이 프레임워크는 작가 수준의 지식과 로컬 패치 참조를 통해 이러한 상태를 근거화하고, 백엔드를 고려한 생성 계획을 컴파일하며, 전역적 및 지역적 정확성 피드백을 통해 후보를 반복적으로 정제한다. 또한 우리는 반 고흐와 치바이스를 대상으로 작품 리렌더링, 시대/스타일 제어 생성, 역사적 전례가 없는 주제, 숏컷 감사, 인간 선호도 평가를 포괄하는 벤치마크인 ArtIntentBench를 도입한다. 오픈 가중치 및 클로즈드 소스 생성기 전반에서 Atelier는 프롬프트 엔지니어링, 검색 증강, 범용 에이전트 베이스라인에 비해 작가 수준의 스타일 충실도를 개선하고, 소스 구조를 더 충실히 보존하며, 숏컷 대체를 실질적으로 감소시킨다. 이러한 결과는 작가 기반 생성의 병목이 이미지 합성 자체가 아니라, 명시적이고 증거에 근거한 예술적 제어에 대한 업스트림 추론에 있음을 시사한다.

최근 지속형 개인 에이전트 프레임워크의 발전으로 인간 중심 에이전트 네트워크가 현실적인 배포 대상이 되고 있다. 각 사용자는 사용자를 대신하여 행동하고 상태를 유지하며 사회적·업무적 관계를 통해 다른 에이전트와 통신하는 AI 에이전트의 서비스를 받을 수 있다. 이러한 네트워크에서 일상적인 도구 사용은 개인 작업 공간을 매개로 한 다자간 소유 에이전트 협업이 되며, 파일, 기록, 도구, 정책은 소유자 간에 직접 공개되지 않는다. 기존 에이전트 벤치마크는 도구 사용과 협업을 연구하지만, 현실적인 사용자 디지털 작업 공간을 갖춘 검증 가능한 교차 사용자 에이전트 협업을 위한 종단간 샌드박스를 제공하지 않으며, 유해한 행동이 인간 중심 에이전트 네트워크를 통해 어떻게 전파될 수 있는지도 테스트하지 않는다. 본 논문에서는 개인 작업 공간을 통한 다자간 소유 에이전트 협업을 위한 감사 가능한 벤치마크이자 런타임 샌드박스인 WeClawArena를 소개한다. WeClawArena는 개인 작업 공간이 작업 수행 도구이자 개인적 제약 조건으로 기능하는 협업적 도구 사용 작업을 대상으로 한다. 벤치마크는 6개의 교차 사용자 작업 도메인에 걸친 124개의 기본 작업을 포함하며, 기본 작업당 1개의 무해 대조 시나리오와 4개의 공격 벡터 변형으로 구성된 총 620개의 시나리오 변형으로 확장된다. 샌드박스는 피어 메시지, 도구 호출, 리소스 작업, 거버넌스 결정, 최종 작업 공간 상태를 기록한다. WeClawArena는 유용성과 공격 성공률을 별도로 보고하며, 제한된 런타임 증거로부터 공격 성공 여부를 감사하여 작업 붕괴, 개인정보 유출, 오염된 증거, 유효하지 않은 권한 경로에 대한 진단을 지원한다.

멀티모달 대규모 언어 모델(MLLM)은 다양한 비전-언어 작업에서 뛰어난 성능을 달성했지만, 불완전하거나 변환된 맥락에서는 종종 실패한다. 신뢰할 수 있는 MLLM은 주제 수준의 맥락 변환을 포함하는 진정한 맥락 밖(OOC) 질문은 거부하면서도, 비주제 맥락 변환을 포함하는 변환된 맥락 내(Shifted IC) 질문에는 계속 답변해야 한다. 기존 벤치마크는 주로 OOC 또는 시각적으로 답변 불가능한 질문을 대상으로 하지만, 답변 가능한 Shifted IC 사례를 간과하고 제한된 OOC 변환만을 다룬다. 이러한 격차를 해소하기 위해, 우리는 MLLM의 거부 및 강건한 답변 능력을 평가하기 위한 대규모 벤치마크인 MMOOC를 제시한다. MMOOC는 답변 가능한 Shifted IC 사례와 답변 불가능한 OOC 사례를 포함하여 41,000개 이상의 이미지-질문 쌍을 포함하며, 세 가지 질문 형식, 여덟 가지 변환 유형, 여섯 가지 시각적 시나리오에 걸쳐 있으며, MLLM 기반 필터링과 인간 검증을 통해 데이터 품질을 보장한다. 우리는 정확도와 거부율을 사용하여 모델 응답을 평가하고, 모델 추론의 정확성을 평가하기 위한 LLM-as-a-Judge 지표를 추가로 도입한다. 다양한 MLLM에 대한 실험은 현재 모델들이 변환된 맥락에서 답변 가능성과 거부 사이의 균형을 맞추는 데 여전히 어려움을 겪고 있음을 보여준다. 우리는 또한 주요 실패 패턴을 분석하고 사후 학습이 강건성을 개선할 수 있음을 보여준다. MMOOC는 공개적으로 제공될 예정이다.

최근 비디오 확산 모델(VDM)의 발전으로 고충실도 비디오 합성이 가능해졌다. 그러나 거울 내부의 콘텐츠가 주변 장면과 일관성을 유지해야 하므로 거울 반사 생성은 여전히 어렵다. 기존 VDM은 장면-거울 관계를 모델링하도록 특별히 설계되지 않았기 때문에, 잘못된 콘텐츠나 일관되지 않은 공간 배치를 가진 반사를 생성할 수 있다. 우리는 거울 반사 생성이 두 가지 보완적 과제를 수반한다는 점을 관찰한다: 어떤 장면 콘텐츠가 반사되어야 하는지 결정하는 것과, 반사된 콘텐츠가 거울 영역 내에서 어떻게 공간적으로 배치되어야 하는지 결정하는 것이다. 이러한 관찰에 기반하여, 우리는 생성 과정에서 장면-거울 관계를 모델링하는 반사 인지 비디오 인페인팅 프레임워크인 MirrorWorld를 제안한다. 구체적으로, 우리는 의미 관계 증류(SRD)를 도입하여 고정된 시각 기반 모델로부터 관계 정보를 전이함으로써 가시적 장면 콘텐츠와 거울 영역 간의 의미 연관성을 촉진한다. 또한 반사된 콘텐츠의 공간 배치를 안내하는 변환을 학습하는 기하 변환 정렬(GTA)을 제안한다. 이 두 구성 요소는 보완적 역할을 수행하며, SRD는 무엇이 반사되어야 하는지를, GTA는 어떻게 배치되어야 하는지를 모델링한다. 이 문제에 대한 연구를 촉진하기 위해, 우리는 기존의 네 개의 비디오 거울 데이터셋을 통합 반사 재구성 과제로 재구성하여 비디오 거울 반사 생성을 위한 벤치마크를 구축한다. 실험 결과는 MirrorWorld가 대표적인 이미지 기반 반사 생성 방법들과 강력한 비디오 인페인팅 기준 모델들보다 향상된 반사 재구성 품질을 달성함을 보여준다.

대규모 언어 모델을 새 데이터로 파인튜닝하면 이전에 학습한 내용이 저하된다. 우리는 가중치 행렬만으로 계산되는 드롭인(drop-in) 패널티인 Omega-S를 제시한다. 이전 작업 데이터, 피셔 행렬, 이전 가중치의 저장 사본이 전혀 필요 없다. 기존 훈련 루프에 세 줄만 추가하면 되며 스텝당 비용이 4% 미만으로 증가한다. **유지 성능(Retention).** LoRA를 적용한 Llama-3-8B를 코드에서 산문으로 파인튜닝하고 10개 시드에 걸쳐 HumanEval로 측정한 결과, Omega-S는 10개 시드 중 9개에서 정규화를 적용하지 않은 경우보다 원래 능력을 더 많이 유지했다(절대 pass@1 0.173 → 0.238, 부호 검정 단측 p=0.011, 윌콕슨 p=0.006). 유지 비율로 환산하면 62.9% → 84.1%이다. 또한 튜닝된 가중치 감쇠를 10개 시드 모두에서(p=0.002), 튜닝된 EWC를 10개 중 8개 시드에서(p=0.014) 능가했으며, 모든 실험군은 동일한 세션에서 재측정되었다. **메커니즘: 주장이 아닌 측정.** Omega-S는 구성상 위상적(topological)이며 그 목적 함수는 Tr(A^3)에서 구축된다. 그러나 우리는 네 가지 요인 중 실제로 변화하는 요인을 측정했고, 그중 세 가지는 움직이지 않는다는 것을 발견했다. 가중치에 대한 이들의 탄력성은 1e-4 이하인 반면, 차수 분산(degree-variance) 항은 9e-3이다. 구현상 이 합성물은 노드 차수의 분산에 대한 패널티로 축소되며, 이는 정사각 모듈에서는 행 크기를 의미하고 비정사각 모듈에서는 방향 정렬을 의미한다. 이름이 약속하는 바와 그래디언트가 실제로 수행하는 바가 다른 방법은 이를 명시해야 하므로, 우리는 이 사실을 보고한다. 또한 대비 보존(contrast-preserving) 구성과 같은 공개된 설계 선택지를 열거하는데, 해당 구성은 설계된 대로 기능하면서도 10개 시드 모두에서 유지 성능을 악화시켰다. 동일한 구성, 동일한 시드, 동일한 하드웨어로 반복 실행하면 유지 비율의 표준편차는 0.104이다. 우리는 언어 모델의 저랭크 파인튜닝에서 이 값이 정량화된 사례를 찾지 못했으며, 이는 이 문헌에서 이루어지는 모든 시드 짝 비교(우리의 결과 포함)의 한계를 규정한다. 코드, 시드별 결과, 그리고 부정적 결과의 전체 기록을 확인할 수 있다.

비전-언어 접지(grounding)는 언어를 시각적 콘텐츠에 연결하지만, 기존의 대부분의 접지 정식화는 이를 단방향 위치 파악 문제로 축소한다. 즉, 사전에 지정된 텍스트 구나 범주 이름이 주어졌을 때 해당하는 이미지 영역을 식별하는 것이다. 이러한 설정은 관련 언어 단위가 이미 알려져 있다고 가정하며, 접지된 의사소통에서 더 근본적인 과제, 즉 텍스트의 어떤 부분이 시각적으로 지시적이고 이미지 속 개체와 어떻게 대응하는지를 결정하는 문제를 간과한다. 우리는 접지를 이미지-텍스트 쌍에 대한 양방향 개념 대응으로 정식화한다. 이미지와 짝지어진 텍스트가 주어졌을 때, 관련 텍스트 구간이 주어진다는 가정 없이, 시각적으로 지시적인 텍스트 구간과 인스턴스 수준의 이미지 세그먼트 사이의 모든 대응 관계를 찾아내는 것이 목표이다. 이러한 정식화는 텍스트 분할, 이미지 분할, 교차 모달 정렬을 하나의 대응 예측 문제로 취급함으로써, 구문 접지, 지시 표현 접지, 개방 어휘 검출을 포함한 일반적인 접지 작업들을 통합한다. 이 과제를 해결하기 위해, 우리는 사전 훈련된 비전-언어 모델 위에 구축된 접지 모델인 ConCor-1을 소개한다. 이 모델은 학습 가능한 브리지 토큰을 사용하여 후보 이미지-텍스트 대응을 표현하고, 각 토큰에 대해 텍스트 마스크, 이미지 마스크, 대응 존재 점수를 예측한다. 이 과제를 훈련하고 평가하기 위해, 우리는 다양한 접지 및 분할 데이터셋을 통합된 대응 형식으로 변환한다. 실험 결과, ConCor-1은 베이스라인을 일관되게 능가하여, 긴 캡션 데이터셋에서 대응 F1을 48%, 제로샷 LVIS에서 29% 향상시켰으며, 제로샷 LVIS에서는 대규모 범주 목록이 텍스트 입력으로 사용된다.

우리는 실제 환경에서 1인칭 데이터 수집을 위한 오픈 하드웨어 기반의 저비용 머리 장착형 스테레오-관성 캡처 장치인 Ego-OSCAR를 제시한다. Ego-OSCAR는 하드웨어 동기화된 글로벌 셔터 스테레오 카메라를 6축 IMU, 온디바이스 비디오 인코딩용 임베디드 리눅스 SBC, 사용자 피드백 및 워치독 기능을 위한 실시간 마이크로컨트롤러와 결합한다. 전체 부품 목록(BOM)은 단위당 미화 200달러 미만이며, 상용 부품과 3D 프린팅 부품만으로 구성된다. 장치와 함께, 완전한 소프트웨어 스택(하드웨어 가속 녹화 파이프라인, IMU 샘플링 데몬, 시간 동기화 도구, 워치독 펌웨어)과, 분산된 기여자 네트워크를 통해 일상적인 실내 환경에서 수집된 카메라당 약 550시간의 1인칭 스테레오 비디오 및 동기화된 IMU 데이터를 배포한다. 배포되는 데이터는 원시(raw) 형태가 아니라 주석(annotation)이 포함된 형태이다. 자유 형식의 행동 캡션이 개방형 어휘로 사실상 전체 녹화 타임라인을 설명하며, 프레임별 3D 손 재구성 결과물이 세션별 스테레오 캘리브레이션과 함께 제공된다. Ego-OSCAR는 Project Aria와 같은 연구용 시스템의 단위당 충실도를 맞추는 것을 목표로 하지 않는다. 오히려 크라우드소싱 기반 1인칭 캡처를 위한 가장 저렴하면서도 정당화 가능한 기반이 되고, 대규모 1인칭 데이터를 수집하려는 모든 팀의 진입 장벽(활성화 에너지)을 낮추는 것을 목표로 한다. 모든 하드웨어 설계, 소프트웨어, 데이터셋은 오픈소스로 공개된다.

구현형 지능형 가상 에이전트(IVA)가 실시간 상호작용 가상 환경에서 인지 능력을 갖추도록 개발하는 것은 오늘날의 기술 발전에도 불구하고 여전히 해결해야 할 과제로 남아 있다. 기존 아키텍처들은 상용 게임 엔진에 제약되는 저수준 반응형 제어 시스템의 구현에 초점을 맞추거나, 가상 세계에서 구현하기 어려운 고수준 추론 모델의 표현에 집중하는 경향이 있다. 본 논문은 이러한 문제의식을 바탕으로 구현형 IVA 배포를 위한 모듈식 인지 아키텍처를 제안한다. 이 아키텍처는 Sense-Think-Act 패러다임과 Belief-Desire-Intention 인지 모델을 비롯한 기존의 검증된 프레임워크를 기반으로 구축되었으며, 상호작용형 3D 컴퓨팅 시스템에서 IVA의 "두뇌"를 배포하기 위한 재사용 가능한 구현 지향적 프레임워크를 템플릿으로 제공하는 것을 목표로 한다. 제안된 아키텍처는 인지 능력을 갖춘 구현형 IVA 배포를 위한 모듈식의 구현 지향적 프레임워크를 제공함으로써, 고수준 에이전트 추론 모델과 실시간 구현 실행 간의 격차를 해소하고, 복잡한 상호작용형 가상 환경에서 확장 가능하고 적응적이며 설명 가능한 에이전트를 구현하는 데 기여한다.

트랜스포머의 위치 임베딩(PE)은 토큰 간 거리와 순서를 인코딩하지만, 통사 구조에 대해서는 대체로 무관하다. 우리는 통사 정보를 활용한 위치 임베딩(SiPE)을 제안한다. SiPE는 사전 학습 중 의존 구문 트리로부터 경량의 통사적 사전(prior)을 학습하고, 이를 절대, 상대, 회전의 세 가지 주요 PE 계열 전체에 주입하여 인코더와 디코더 모두에 적용한다. 이 과정에서 셀프 어텐션과 나머지 아키텍처는 변경하지 않는다. 우리는 사전이 모델에 어디서 어떻게 들어가야 하는지를 분리하여 분석했고, 그 답은 아키텍처에 따라 달라진다는 것을 발견했다. 상대 위치 PE를 사용하는 자기회귀 디코더의 경우, 사전은 어텐션 스코어의 상대 위치 항과 곱셈적으로 결합될 때 가장 강력한 효과를 낸다. 이는 입력 임베딩, 셀프 어텐션, 또는 위치 및 어텐션 항에 동시에 주입하는 방식보다 우수한 성능을 보였다. 반면 인코더의 경우, 사전을 입력 임베딩에 직접 더하는 것이 가장 좋았으며, 각 인코더의 고유 위치 메커니즘과 결합하여 작동한다. SiPE로 사전 학습한 모델은 통사적 지도가 없는 기본 모델에 비해 SyntaxGym 벤치마크에서 최대 10.3% 향상된 성능을 보였고, 동시에 혼란도(perplexity)를 9.0% 감소시켰다. 이 지표는 거의 모든 기존 통사 주입 방법이 오히려 악화시키는 것이다. 중요한 점은 이러한 성과가 통사적 일반화를 넘어 실제 언어 이해에서도 확인된다는 것이다. SiPE는 이를 사용하지 않고 학습한 모델보다 GLUE 벤치마크 점수를 최대 8.2% 향상시킨다. 추론 시 여러 구문 트리를 주변화하거나 런타임에 통사 정보를 버리는 기존의 통사 언어 모델과 달리, SiPE는 단일 구문 트리를 조건으로 사용하여 통사적 지도와 추론 비용 사이에 새로운 파레토 경계를 확립한다.