일간 논문

우리는 결과 중심의 비디오 생성 과업인 의미론적 과업 완료 비디오 생성(Semantic Task Completion Video Generation)을 소개한다. 이 과업 설정에서 성공을 위해서는 의도된 결과의 달성과 의미론적 근거 확보가 모두 요구된다. 의미론적 근거는 참조 이미지와 생성된 결과 간의 대응 관계를 과업과 관련된 고수준 의미론 측면에서 규명한다. 평가는 생성된 결과에 초점을 맞추며, 중간 과업 단계의 완전한 시퀀스 제시나 참조 이미지와의 통상적인 외관 일관성은 요구하지 않는다. 체계적인 평가를 지원하기 위해 우리는 여섯 개의 도메인을 포괄하는 평가 데이터셋인 SemComp-Data를 구축한다. 각 인스턴스는 참조 이미지, 상세 지시문, 간결 지시문, 그리고 결과 중심 비디오 클립으로 구성된다. 확장 가능한 4단계 큐레이션 파이프라인은 원시 비디오를 표준화된 SemComp-Data 인스턴스로 변환한다. 또한 우리는 비전-언어 모델(VLM)을 사용하여 구조화된 이분형 질문에 응답하는 평가 프로토콜인 SemComp-Bench를 도입한다. SemComp-Bench는 결과 달성(Outcome Achievement)과 생성 신뢰성(Generation Reliability)에 대해 각각 OA 점수와 GR 점수를 보고한다. 대표적인 비디오 생성 모델들에 대한 실험 결과, 의도된 결과를 달성하면서 참조 이미지에서 과업 관련 의미론적 근거를 유지하는 것은 여전히 어려운 과제로 남아 있음이 확인된다.

체화된 에이전트(embodied agent)는 종단간(end-to-end) 정책 모델이 남긴 한계를 메우기 위해 점점 더 많이 활용되고 있다. 그러나 에이전트적 접근은 물리적 실행에서 폐루프 학습(closed-loop learning)을 실현하지 못했다. 기존의 하네스(harness)는 대체로 개루프(open-loop)로 유지되어, 롤아웃 중에는 고정된 스킬을 따르고 에피소드가 끝난 후에만 반성한다. 이러한 사후 반성은 실행이 진행되는 동안 이를 제어할 수 없는데, 물리적 상호작용은 오늘날의 대형 에이전트 모델이 감당할 수 있는 빈도를 넘어서는 속도로 변화하는 로봇-환경 상태를 추적하는 결정을 요구하기 때문이다. 우리는 기본 정책을 동결시킨 채 코드 기반 런타임 비평가(critic)와 복구 스킬을 온라인으로 진화시키는 폐루프 체화 하네스인 Zetta를 제시한다. 세 가지 시간 척도로 분리된 루프를 통해 Zetta는 행동 빈도 제어, 롤아웃 수준의 비평가-복구 제안, 검증 게이트를 적용한 스킬 업데이트를 제공한다. Zetta는 에이전트 로직을 이기종 실행 자원으로부터 분리하는 롤아웃 인프라인 Z-Infra와 함께, 현재 롤아웃 예산 하에서 LIBERO-Pro와 RoboCasa에서 최첨단 성공률을 달성하여 각각 90.8%와 93.6%에 도달하고 11.1배의 추론 속도 향상을 보인다. 성공률은 자기 탐험 경험에 따라 계속 확장되며, 학습된 스킬은 제로샷으로 전이되고, 명확한 로봇의 ‘아하 순간(Aha Moment)’이 나타난다. 이러한 결과는 폐루프 하네스의 자기 진화가 신뢰할 수 있는 물리적 지능을 위한 확장 경로를 연다는 것을 보여준다.

프로그래밍 가능한 논리 제어기(PLC)는 산업 플랜트를 운영하며, 대규모 언어 모델은 이미 이들을 위한 독립적인 프로그램 구성 단위(POU)를 생성할 수 있다. 이러한 로직이 기존 PLC 프로젝트에 통합된 후 올바르게 실행되는지 여부는 제한된 테스트에서만 확인되었다. 본 논문에서는 기존 도구들로 구성되었으나 엄격한 완료 규칙에 의해 제어되는 프로젝트 기반 및 검증 게이트 에이전트 하네스인 SemaPLC를 제시한다. SemaPLC는 모델이 자체 출력이 적절하다고 판단할 때 중단하는 대신, 기록된 외부 검사가 이를 확인할 때만 작업 완료를 선언한다. 이러한 검사는 사양, 컴파일 및 실시간 런타임에서의 동작을 포함한다. 기존 벤치마크에 대응하는 117개의 독립 POU 작업에서 SemaPLC는 7개 모델 전체에서 최고의 엄격한 검증 통과율(평균 72.6%)을 달성한다. 생성된 로직이 실제 프로젝트 내에서 컴파일되고 실행되어야 하는 65개 작업의 프로젝트 컨텍스트 트랙에서는 통합 컴파일, 정적 동작 및 동적 동작에서 최고 평균을 달성한다. 세 계층 중에서 동적 동작이 가장 결정적이다. 우리는 생성된 로직과 참조 로직을 실시간 PLC 런타임에 배포하고 실행 추적을 비교하여 이를 측정한다. 모든 방법은 정적 점수에서 서로 10포인트 이내에 위치하는 반면, 동적 점수는 이들을 뚜렷하게 구분하는데, 기준 방법들은 22.4에서 31.4 사이인 반면 SemaPLC는 52.2를 기록한다. 전반적으로, 우리의 검증 게이트 하네스는 모든 계층에서 평균을 향상시키며, 가장 큰 향상은 런타임에서 나타난다. 생성된 제어 로직이 실제로 작동하는지에 대한 신뢰할 수 있는 시험은 정적 채점이 아니라 실행이다. SemaPLC는 https://github.com/midea-ai/SemaPLC에서 오픈소스로 공개된다.

강화 학습(RL)은 언어 및 비전-언어 모델의 추론 능력을 향상시키는 강력한 접근 방식으로 부상했지만, 가장 큰 성공 사례들은 여전히 실제 정답(ground-truth) 감독(예: 검증 가능한 보상)에 크게 의존한다. 이러한 주석은 획득 비용이 높을 뿐만 아니라, 추론 능력이 인간이 신뢰성 있게 평가할 수 있는 수준을 넘어섬에 따라 점점 더 희소해진다. 자기 보상 강화 학습은 모델이 자체 완성 결과로부터 보상 신호를 도출할 수 있게 함으로써 이러한 의존성을 줄인다. 그러나 자체 생성 피드백만으로 훈련하면 기존의 편향과 차선의 행동이 강화되고, 응답 다양성이 감소하며, 궁극적으로 동질화된 응답과 훈련 붕괴로 이어질 수 있다. 본 연구에서는 협력적 다중 에이전트 훈련을 통해 비지도 추론이 발현될 수 있음을 보여준다. 우리는 매개변수를 공유하지 않는 여러 개의 분리된 모델이 동료로부터 파생된 보상을 사용하여 강화 학습을 통해 동시에 최적화되는 프레임워크인 Co-RL을 제안한다. 또한 이질적 모델 계열, 크기, 재구성된 훈련 샘플을 통한 코호트 다양성의 증가가 자기 강화 피드백 루프를 유발하는 상관된 오류를 줄인다는 것을 입증한다. 이러한 다양성은 추론 성능을 일관되게 향상시키고, 행동 다양성을 유지하며, 훈련 붕괴를 완화한다. 텍스트 전용 및 다중 모달 영역 모두에서 Co-RL은 기본 모델과 기존의 레이블 없는 접근 방식보다 일관되게 우수한 성능을 보이며, 실제 정답 레이블에 대한 접근 없이도 감독 학습 방법과 동등하거나 이를 능가하는 성능을 달성한다. 구체적으로, Co-RL은 LLM을 위한 7개의 텍스트 전용 벤치마크에서 평균 3.0-8.6%, VLM을 위한 4개의 다중 모달 벤치마크에서 2.3-7.2%의 성능 향상을 달성한다. 코드는 https://github.com/DrStranded/Co-RL에서 확인할 수 있다.

최근 기초 모델의 발전으로 AI 과학자들은 가설 생성, 코드 실행, 원고 작성에 이르기까지 점점 더 완전한 연구 워크플로우를 자동화할 수 있게 되었다. 그러나 워크플로우의 포괄성만으로는 과학적 발견의 기반이 되는 전체 증거에 대한 접근이 보장되지 않는다. 기존 시스템은 일반적으로 텍스트, 코드, 레이블 또는 사전 계산된 요약 위에서 추론하며, 과학적으로 결정적인 공간적, 시간적, 교차 채널적, 절차적 관계를 에이전트가 활용하지 못하게 한다. 우리는 OmniScientist를 소개한다. 이는 이질적인 원시 증거로부터 직접 다분야 연구를 수행하는 종단 간(end-to-end) 옴니-모달(omni-modal) AI 과학자이다. 지각 계층(perception layer)과 발상(ideation), 실험(experiment), 집필(writeup)을 담당하는 3개의 자율 에이전트가 결정론적 파이프라인 내에서 작동하여, 관찰이 연구 수명주기 전반에 걸쳐 연구 질문, 실험 결정, 최종 주장을 형성할 수 있게 한다. 아이디어 검증, 엄격성 검증, 주장 검증을 코드로 실행함으로써, 이 시스템은 참신성 심사, 통계적 타당성, 실행 추적성(execution provenance), 수치 추적 가능성을 강제한다. 우리는 5개 학문 계열, 4가지 과학적 증거 유형, 그리고 이미지, 신호, 오디오, 비디오, 3차원 구조, 궤적, 표, 수식, 그래프를 포함하는 양식에 걸친 36개의 실제 데이터 사례에서 OmniScientist를 평가한다. 이 시스템은 36개 전체 사례에서 원시 데이터부터 편집된 원고까지의 전체 경로를 완료하며, 참조 추론 백본(reference reasoning backbone)을 사용하여 평균 종합 논문 점수 6.3을 달성한다. 사전 계산된 스칼라 특징만을 입력으로 받는 맹검(blind) 변형과의 쌍별 비교에서, 직접 지각은 7개 평가 차원 모두에서 우수했으며 일대일 판단의 85%에서 승리하였다. 이러한 결과는 수명주기 전반에 걸친 지각이 증거 기반 과학적 발견에 필수적이며, 광범위하게 유능한 AI 과학자를 향한 실용적 경로를 제공함을 보여준다.

지속적 자기 개선(continuous self-improvement)에는 자체 생성되고 다양하며 적응적인 목표의 지속적으로 확장되는 풀이 필요하다. 언어 에이전트의 경우, 기존의 훈련 환경 풀(수작업 선별, 정적 합성, 또는 고정 검증기 기반)은 학습자가 확장됨에 따라 목표 분포를 고정된 상태로 유지한다. 우리는 SPADE(적응형 합성 실행 환경에서의 셀프플레이, Self-Play in Adaptive Synthetic Executable Environments)를 제안한다. SPADE는 단일 LLM이 두 역할을 수행하는 셀프플레이 RL 프레임워크이다: OpenAI Gym 스타일의 reset()/step() 인터페이스를 갖춘 실행 가능한 코드로 완전한 장기(long-horizon) 훈련 환경을 작성하는 환경 설계자(Environment Designer)와, 그 환경에서 행동을 학습하는 추론 에이전트(Reasoning Agent). 각각은 상태 기반의 다중 턴 환경(상태 전이, 보상 함수, 검증 코드)이므로, 하나의 인터페이스가 추론 문제와 다단계 에이전트 도구 사용을 모두 포괄한다. 추론 에이전트의 후회(regret)는 특권 힌트(privileged hint)의 유무에 따른 보상 차이를 사용하여 추정된다. 이 후회 신호를 최적화함으로써 환경 설계자는 에이전트의 역량 경계에 있는 환경을 목표로 하면서도 실행 가능성을 유지하는 방법을 학습한다. 광범위한 실험을 통해 우리는 성공에 중요한 여러 구성 요소를 발견했다: 환경 설계자를 대규모 사전학습 말뭉치에서 샘플링된 문서에 근거시키는 것과, 환경 메모리를 축적하여 제공하는 것이다. 300억 파라미터 모델로 확장했을 때, SPADE는 여덟 개의 보류된 수학, 과학, 코드, 추론 벤치마크에서 평균 +5.3으로 가장 강력한 고정 환경 기준선을 능가하며, BFCL-v4 다중 턴에서 +5.7, ACEBench-Agent에서 +13.9로 도구 사용 설정을 향상시킨다. 게임 설정에서는 가장 강력한 기준선 대비 격차가 모델 규모에 따라 증가한다. 환경 설계 자체를 학습 가능한 구성 요소로 만듦으로써, SPADE는 개방형 자기 개선(open-ended self-improvement)을 향한 구체적인 한 걸음을 내딛는다.

단일 단계 역합성은 컴퓨터 지원 합성 계획의 핵심 구성 요소이지만, 그 본질적인 일대다 특성은 단일 정답 평가 및 벤치마킹 프로토콜로는 제대로 포착되지 않는다. 이러한 문제를 해결하기 위해, 우리는 다양하고 타당한 반응 예측을 더 잘 포착하기 위한 강건한 훈련 및 추론 패러다임으로서 Top-K 프롬프팅을 도입한다. 우리는 C3LM(화학 제약 일관 언어 모델)을 훈련하기 위해 약 4,560만 개의 검증된 반응으로 구성된 초대규모 데이터셋인 CREED-CCV-2+USPTO-XL을 구축한다. ChemCensor 기반 및 신규성 지향 보상을 통합한 미세 조정을 통해, 우리 모델은 OOD URSA-expert-2026 벤치마크에서 최첨단 성능을 달성한다. 반응 고유성에 대한 추가 분석은 LLM과 기존 모델이 상보적인 반응 공간을 탐색한다는 것을 보여주며, 이는 앙상블 기반 역합성 시스템을 위한 동기를 제공한다. 전반적으로, 우리의 결과는 Top-K 기반의 타당성 인지 훈련이 강건한 미래 LLM 기반 합성 계획을 위한 실용적인 새로운 방향임을 확립한다.

오픈 가중치 언어 모델은 미세 조정, 양자화, 프루닝, 병합되지만 그 기원은 종종 문서화되지 않는다. 우리는 데이터 비의존적 화이트박스 계보 검증을 연구한다: 가중치만으로 호환 가능한 두 모델 체크포인트가 공통 조상을 공유하는지 밝힐 수 있는가? 잔차 훈련은 분기 산출물에 공유된 정체성 정렬 구성 요소를 생성하므로, 이 구조만으로는 조상을 확립할 수 없다. 우리는 이를 제거하고 잔차 블록 전반에 걸쳐 체크포인트 고유 구조를 비교하여, 독립적인 체크포인트를 기준으로 보정된 대칭 계보 점수를 도출한다. 잔차-MLP 및 GPT-2 벤치마크에서 이 점수는 미세 조정, LoRA 병합, 프루닝, 양자화된 후손 모델을 독립 모델 및 증류 모델과 구분하며(AUROC=1.0), 가중치 조상 관계를 행동 유사성과 구별한다. 기능 보존 체크포인트 세탁 실험에서 가중치 공간 베이스라인은 마진을 상실하거나 실패하는 반면, 우리의 점수는 변화하지 않으며 GPT-2에서 최근접 강건 베이스라인보다 76배 더 빠르게 실행된다. 투영-페어링 신호는 여섯 개의 언어 모델 계열 이상에서 나타나며, 사례 연구는 LLaMA-2 공개 체크포인트 3개가 관련되어 있고 7개는 무관함을 올바르게 식별한다. 종합적으로, 이러한 결과는 호환 가능한 오픈 가중치 언어 모델 체크포인트에 대한 수동적이고 데이터 비의존적인 기원 신호를 확립한다.

JEPA 스타일 잠재 세계 모델은 모델 예측 제어(MPC)의 비용으로 목표 잠재 표현까지의 유클리드 거리를 사용할 수 있다. 그러나 과제 변수의 강력한 디코딩은 이 특정 비용이 후보 행동 시퀀스를 실제 과제 진행도에 따라 순위화한다는 것을 보장하지 않는다. 우리는 후자의 속성을 결정-지표 정렬(decision-metric alignment)이라고 부른다. 우리는 무작위 플랜에 대한 잠재-실제 순위 일치도를 측정하는 Plan-Real 스피어만과, 교차 엔트로피 방법(CEM) 탐색이 제안 분포를 집중시킬 때 동일한 일치도를 측정하는 CEM-stage 스피어만을 도입한다. 우리는 잠재 거리가 실제 비용 순위를 보존하는 충분 조건을 분석하고, 제어 변수로 인코더 왜곡, 종단 롤아웃 오차, 후보 마진을 식별한다. 관찰된 경험적 정렬 격차에 기반하여, DA-LeWM은 역동역학 및 시연-조건화 목표-행동 헤드를 통해 LeWM을 확장한다. 모든 실험에서 DA-LeWM은 수렴을 가속화하고 LeWM보다 더 높은 온라인 성공률을 달성하며, 프로브 점수는 유사하게 유지된다. 이 결과들은 행동-조건화 목적 함수가 유클리드 비용 기반 CEM 잠재 MPC가 사용하는 기하 구조를 개선함을 보여준다.

순환 언어 모델은 추론 벤치마크에서 유망한 결과를 보여 주었지만, 에이전트 도구 사용에 있어서의 잠재력은 아직 크게 탐구되지 않았다. 본 연구는 모델이 여러 API 호출을 조정하고, 중간 상태를 유지하며, 도구 상호작용 간의 의존성을 보존해야 하는 구성적 도구 호출 환경에서 이 문제를 조사한다. 우리는 API-Bank, BFCL, NESTful에서 네이티브 및 개조형 순환 언어 모델을 평가하고, 동일한 지도 미세 조정 레시피와 추론 시 다양한 순환 깊이로 훈련된 순환 모델과 비순환 모델을 비교한다. 통제된 실험에서 순환 계산은 일반적으로 구성적 및 의존성 인지 도구 사용에 이점을 제공하는 반면, 단일 API 호출에서는 더 작고 모델 의존적인 개선을 보인다. 다단계 도구 사용의 정확도는 일반적으로 순환 깊이에 따라 증가하지만, 적응형 추론은 필요할 때만 추가 계산을 할당함으로써 더 유리한 계산-성능 절충을 달성한다. 본 연구 결과는 순환 언어 모델이 구성적 도구 사용 워크플로우의 안정적인 계획, 조정, 실행을 요구하는 에이전트 시스템에 유망한 아키텍처임을 시사한다.

인기 있는 사실은 사전 학습 중 더 깊이 기억되며 희귀한 사실보다 제거에 더 오래 저항하지만, 기존 LLM 언러닝 방법은 학습 데이터 빈도와 관계없이 균일한 그래디언트 압력을 적용한다. 우리는 AdaPop(Adaptive Popularity) 방법을 제안한다. 이 방법은 로컬 토큰 신뢰도와 외부 프록시(예: Wikidata 사이트링크, LLM-as-Judge)에서 파생된 사실별 인기도 의존 지수를 결합하고, 에폭마다 유지(retain) 손실 페널티를 조정하는 이중 상승 제어기를 통해 망각-유지 균형을 자동화한다. 세 가지 모델 계열과 두 가지 벤치마크에서 AdaPop은 의역된 쿼리에서 경쟁 방법보다 망각된 콘텐츠를 약 5배 적게 누출했고, 적대적 재구성에서는 약 1.6배 적게 누출했다. 우리는 내부 지표로 분석을 뒷받침한다. 우리 방법에서는 망각 집합의 은닉 상태가 언러닝 전 모델의 상태로부터 다른 방법보다 더 멀리 이동하는 반면, 유지 집합의 표현은 가깝게 유지된다.

대규모 언어 모델(LLM)을 위한 고품질 창작 데이터는 여전히 스토리 중심 데이터가 지배적이며, 이로 인해 모델이 다양한 창작 형식의 구조적·기능적 관례를 따르는 능력이 제한된다. 본 연구는 스토리 생성 너머로 창작 데이터를 확장하기 위한 속성 기반 장르 확장 프레임워크를 제안한다. 주제적 폭과 장르 형식 제어를 분리함으로써, 본 프레임워크는 인간이 작성한 스토리 프롬프트를 다양한 창작 시드로 활용하는 동시에, 수작업으로 선별된 장르 속성을 사용하여 고유한 구조적·문체적·서식적 관례를 강제한다. 이를 결합하여 강력한 LLM에 장르 충실성 높은 질의-응답 쌍을 생성하도록 프롬프트하고, 이후 품질 필터링을 수행한다. 본 프레임워크를 적용하여 스토리, 랩, 가사, 각본, 게임 디자인, 캐릭터 디자인 및 기타 창작 형식을 아우르는 13개 창작 장르에 걸친 50K 규모의 예시 말뭉치인 멀티 장르 컬렉션(Multi-Genre Collection)을 구축하였다. 분포 외 쓰기 벤치마크와 보류된 장르 진단 실험 결과, 본 데이터로 미세 조정된 모델은 기본 모델과 쓰기 특화 기준 모델뿐만 아니라 기존 쓰기 말뭉치로 학습된 모델까지도 지속적으로 능가하는 것으로 나타났다. 장르 수 절제 실험은 스토리 중심 확장만으로는 충분하지 않으며, 통제된 장르 확장이 견고한 창작 능력의 핵심 동인임을 추가로 시사한다.

언어 모델 에이전트는 이제 제한된 작업을 안정적으로 수행한다. 그러나 행동이 누적적 결과를 낳고 환경이 그 선택에 반응하는 긴 시간 지평에서 효과적인 의사 결정을 유지할 수 있는지는 대체로 측정되지 않은 채 남아 있다. FM-Bench(축구 경영 벤치마크)는 이를 측정한다. LLM 에이전트는 26개의 도구와 약 340~400개의 의사 결정 지점을 거쳐 게임 내 20년 동안 축구 클럽을 운영한다. 모든 경쟁 팀과 동일한 예산으로 선수단을 구성하고, 선수를 트레이드하며, 계약을 협상하고, 시설과 유소년 육성에 투자하고, 라인업을 짜며, 자신을 해고할 수 있는 이사회에 보고한다. 그동안 결정론적 엔진은 매년의 결과를 최종 점수 하나로 누적하며, LLM 심사자나 인간 평가자는 개입하지 않는다. 단독 트랙에서는 15개의 최첨단 모델 각각을 고정된 스크립트 세계와 대결시키고, 아레나에서는 동일한 모델들에 스크립트 기반 기준 모델을 더해 하나의 공유된 20년 세계에 배치한다. 우리가 아는 한, 이 규모의 최초 맞대결 평가다. 우리는 점수를 뒷받침하는 여섯 가지 행동 역량을 측정한다. 세 개의 시드에 걸쳐 15개 모델 모두 모든 지평을 완료한 반면, 스크립트 기반 블라인드 기준선은 대부분의 지평에서 소멸했다. claude-fable-5는 평균 점수에서 단독 트랙 보드 1위를 차지했고 아레나에서도 1위를 했지만, 아레나의 우승 타이틀은 그럼에도 10개 모델 사이를 순환했다. 규모, 가격, 공급업체 중 어느 것도 순위를 예측하지 못한다. 순위는 지평 후반에 가서야 확정되며, 첫 플레이에서 최고 성적을 낸 인간은 모델 순위표의 최하위에 그쳤다. 모델들을 구분 짓는 것은 계산 능력이 아니라 관리 행동이다. 고득점 모델은 끝에 가까울수록 수익이 더딘 투자를 줄이고, 현금을 유휴 상태로 두지 않고 투자 상태로 유지하며, 마감 훨씬 전에 재계약을 시작한다. 반면 토큰 사용량은 아무것도 예측하지 못한다. 어떤 모델도 수백 건의 거절된 입찰에서 시장의 숨겨진 가격을 학습하지 못하며, 자체 관리 메모리는 서로 반대되는 두 가지 방식으로 실패한다. 계속 증가만 하는 아카이브와 매 시즌 다시 쓰이는 계획이 그것이다. 코드는 https://github.com/Analogy-AI/fm-bench에서 이용할 수 있다.

물리적 상호작용 품질은 변형 가능한 객체 조작의 핵심이지만, 대부분의 벤치마크는 과제 성공만을 평가한다. 정책이 미끄러짐을 허용하거나 과도한 압축을 유발하면서도 과제를 완료할 수 있다. 주요 병목은 정책이 관찰할 수 있는 접촉 관측과 독립적인 물리적 실제값을 전체 과제에 걸쳐 짝지은 시각-촉각 데이터셋이 부재하다는 점이다. 우리는 물리적 상호작용 인지 변형 객체 조작을 위한 시각-촉각 데이터셋인 SoftVTBench를 소개한다. 이 데이터셋은 4,000개의 전문가 시연과 50개 이상의 에셋을 포함하며, 여기에는 체적 변형 객체와 시각적으로 일치하는 강체 쌍이 포함된다. 20Hz에서 각 에피소드는 다중 시점 RGB, 이중 손가락 촉각 RGB 및 마커 모션, 고유수용감각, 언어, 이진 및 연속 그리퍼 동작을 동기화하며, 평가자 전용 유한요소(FEM) 상태도 함께 제공한다. 이 데이터셋을 기반으로, 우리는 고정된 객체별 캘리브레이션을 사용하여 변형 인지 성공률(DSR)을 정의하는 폐루프 벤치마크를 구축한다. DSR은 과제를 완료하고 최대 정규화 변형이 허용 오차 내에 유지될 때만 롤아웃을 성공으로 간주한다. Diffusion Policy, π₀.₅, FastWAM 전반에 걸쳐, 분포 내 12개 구성 모두에서 변형 허용 오차를 위반하는 성공적 롤아웃이 존재하며, 이는 각 구성의 성공 중 0.7~24%를 차지한다. 분포 변화 하에서, 시각-촉각 변형은 6개의 정책-스위트 비교 모두에서 더 높은 과제 성공을 달성하고 5개에서 더 높은 DSR을 달성한 반면, 분포 내에서의 이점은 혼재되었다. 이러한 결과는 촉각을 제공하는 것만으로는 효과적인 다중 양식 융합이 보장되지 않음을 보여준다. 따라서 SoftVTBench는 정책의 성공 여부뿐만 아니라 변형 객체와의 물리적 상호작용 방식과 촉각이 그러한 상호작용을 개선하는 시점을 연구하기 위한 공통의 시각-촉각 자원을 제공한다.

언어별 능력(LSC)은 언어 모델이 프롬프트의 언어에 따라 더 좋거나 나쁜 성능을 보이는 현상이다. 다시 말해, 언어 모델은 서로 다른 언어로 프롬프트가 주어졌을 때 동일한 의미론적 질의에 대해 서로 다른(그리고 잠재적으로 부정확한) 응답을 출력한다. 선행 연구는 이를 언어 간 의미 표현의 내부 정렬 불일치로 설명한다. 현재 문헌에서는 LSC를 해결하기 위한 두 가지 주요 접근법이 있다: (1) 모든 질의를 영어로 경유시켜 성능을 향상시키지만, 언어 표현력을 영어로 제한하는 방법, (2) 언어 균형 데이터로 학습하여 언어 간 모델 성능을 균등화하지만, 전체 성능을 저하시키는 방법이다. 본 연구에서는 데이터 중심 관점을 취하여 HOTFIXR: Hardness Optimized Training data For Improving X-Lingual Reasoning을 제안한다. HOTFIXR은 모델을 사용하여 학생 모델의 다국어 약점을 조사하고 학습한 뒤, 이를 완화하는 데이터를 생성하는 데이터 생성 프레임워크이다. HOTFIXR은 다국어 성능을 향상시킬 수 있는 다국어 합성 훈련 데이터를 생성할 수 있다. 우리는 세 가지 분포 내(in-distribution) 과업, 세 가지 분포 외(out-of-distribution) 과업, 그리고 네 가지 분포 외 언어에 대해 평가를 수행했다. 평균적으로 HOTFIXR은 (1) 분포 내 성능을 6.2% 향상시키고, (2) 미세 조정으로 유발되는 파괴적 망각을 OOD 과업에서 3.7%, (3) OOD 언어에서 7.1% 감소시킨다. 전반적으로, 많은 실제 응용 분야가 다국어 LLM을 요구하는 만큼, 본 연구는 LLM을 다국어에 능숙하게 만드는 노력에 기여한다. 우리는 논문이 채택되면 코드를 공개할 예정이다.

LLM 기반 에이전트는 사용자를 대신하여 클라우드 서비스에 접근하고, 도구를 호출하거나 에이전트를 호출할 수 있다. 세션 시작 시 에이전트의 권한이 설정되지만 정적으로 유지되며, 각 요청은 이전 작업을 고려하지 않고 독립적으로 평가된다. 에이전트는 권한 범위 내에서도 위임된 작업에 반하는 행동을 하거나, 개별적으로 허용된 작업을 결합하여 금지된 결과를 만들어 내거나, 하위 에이전트에 권한을 제한 없이 위임할 수 있다. 프롬프트 주입은 에이전트가 그러한 행동을 수행할 권한을 가진 경우에만 위험을 초래하므로, 이는 단순히 모델의 문제가 아니라 인가 아키텍처의 문제이다. 에이전트 주체 체인(APC)은 한 주체에서 다음 주체로 위임된 권한을 추적한다. APC는 축적된 세션 상태에 대해 각 요청을 여섯 가지 인가 검사를 통해 평가한다. APC는 위임된 범위와 예산을 이월하고 제한한다. 합성 폐포를 사용하여 APC는 요청을 이전 작업과 대조하여 금지된 조합을 방지하고, 모델 외부에서 결정을 집행한다. 우리는 APC 구현에 대한 폭발 반경 단조성과 합성 건전성을 증명한다. 합성 건전성은 완전한 제한 집합과 직렬화된 승인 하의 금지된 조합으로 제한된다. 우리는 InjecAgent, AgentDojo, ASB를 포함한 3,154개의 인스턴스를 평가했다. 우리의 손상 모델 평가는 첫 번째 정당한 도구 호출 이후에 실측 공격 호출을 삽입하여 모델 행동과 독립적으로 APC를 테스트한다. AgentDojo 데이터 유출은 네 도메인 모두에서 75-100%에서 0%로 감소했으며, APC는 544개의 InjecAgent 데이터 탈취 사례를 모두 차단했다. 의도 바인딩은 파괴를 38.6%에서 4.0%로, 조작을 90.5%에서 12.1%로 감소시켰다. 인가 지연 시간은 유휴 호스트에서 99번째 백분위수 기준 0.24ms였다. 949개의 AgentDojo 작업-주입 쌍에서 유용성은 두 설정에서 각각 8.6 및 13.9퍼센트 포인트 낮았다. 구현, 평가 도구 및 데이터는 공개적으로 이용 가능하다.

에이전트 프레임워크는 점점 더 절차적 지식을 스킬(skill)로 패키징한다. 즉, 에이전트가 필요 시 읽어들이는 명령 파일 형태이며, 현재 공개 라이브러리에는 수천 개의 스킬이 존재한다. 따라서 어떤 스킬을 읽을지 결정하는 것은 정책(policy) 자체가 에피소드 중간에 수행하는 결정이 되었지만, 이를 훈련시키는 기존 신호는 존재하지 않는다. 우리는 기본적인 해결책인 후보 슬레이트(candidate slate)에 대한 결과 보상 강화학습(outcome-rewarded RL)이 이를 학습시킬 수 없음을 보인다. 그 이유는 우리가 식별하고 명명한 구조적 원인, 즉 선택기 크레딧 기아(selector credit starvation) 때문이다. 브로드캐스트(broadcast) 방식의 시퀀스 수준 이점(sequence-level advantage) 하에서는 선택된 스킬을 지칭하는 소수의 토큰이 손실에서 극히 미미한 비중을 차지하며, 궤적이 길어질수록 이들이 물려받는 크레딧은 점점 더 잘못된 부호를 띠게 된다. 선택 자체가 궤적에서 가장 가치 있는 결정 중 하나임에도 불구하고, 선택 이후의 실행이 실패할 때마다 올바른 선택이 처벌된다. 완료된 실행의 자체 훈련 산출물을 감사한 결과 세 가지 특성이 모두 확인되었으며, 각각은 지평선(horizon)이 길어질수록 단조적으로 악화되었다. SkillGate는 구조적으로 이러한 실패를 제거한다. 즉, 토큰 지원 집합(token support)을 두 개의 분리된 크레딧 채널로 분할하여, 결과 크레딧은 실행 토큰에만 도달하게 하고, 별도의 행동 국지적 이점(action-local advantage)은 정확히 스킬 명명 토큰에만 도달하게 한다. 이 이점은 궤적의 단일 읽기가 올바른 경우에만 양수가 된다. 16개 후보 슬레이트 조건에서 다섯 가지 에이전트 벤치마크를 통해, SkillGate는 9B 정책의 시행 성공률을 40.8%에서 53.2%로 끌어올렸으며, 이는 동일한 예산을 결과 보상에만 사용했을 때보다 훨씬 앞선 성과이다. 동시에 오도하는 후보에 대한 노출을 3분의 2로 줄이고 더 적은 수의 스킬을 읽는다.

음악 편집은 현대 음악 제작에서 중요한 역할을 하며, 영화, 방송, 게임 개발 분야에 응용되고 있다. 최근 음악 편집 시스템의 발전으로 음색 변환, 악기 대체, 장르 변환과 같은 다양한 편집 작업이 가능해졌다. 그러나 많은 기존 연구들은 편집 과정에서 변경되지 않아야 할 음악적 측면을 보존하는 능력, 즉 음악 맥락 보존(MuseCP)을 평가하는 것을 간과하고 있다. 일부 연구에서 MuseCP를 고려하긴 하지만, 그 평가 프로토콜과 지표는 포괄적이지 않다. 이러한 문제를 해결하기 위해, 우리는 네 가지 범주의 음악 속성을 다루는 최초의 MuseCP 평가 프레임워크인 MuseCPEval을 제안한다. 이 프레임워크는 음악 속성의 미묘한 변화를 포착하기 위한 세분화되고 정교하게 설계된 지표를 제공한다. 객관적 검증과 인간 평가 연구를 통해 이러한 지표의 효과성을 입증한다. 또한 다양한 음악 편집 시스템에 대한 사례 연구는 이러한 지표가 테스트베드이자 진단 도구로서 실용적 효용성을 지니며, 기존 시스템의 강점과 한계에 대한 통찰력을 제공함을 보여준다. 우리는 본 지표와 연구 결과가 강력한 MuseCP 능력을 갖춘 보다 효과적이고 신뢰할 수 있는 음악 편집 전략 개발을 위한 실질적 지침을 제공할 수 있기를 기대한다.

LiDAR 장면 완성은 자율주행에서 3차원 인식의 핵심 구성 요소이며, 후속 작업에 활용 가능하려면 장면이 실시간으로 완성되어야 한다. 기존 접근법들은 일반적으로 초기화-정제(initialize-and-refine) 패러다임을 따르는데, 먼저 장면의 대략적인 초기화를 구성한 후 이를 완전한 3차원 기하 구조로 정제한다. 생성 모델은 임의의 가우시안 노이즈를 장면으로 반복적으로 정제하기 때문에 속도가 느린 반면, 비생성적 방법은 부분 장면에 고정된 노이즈 스케일을 적용하여 큰 공백과 가려진 영역에 대한 커버리지가 제한적이며, 새로운 센서 구성마다 수동 노이즈 조정이 필요하다. 본 논문에서는 초기화 자체를 학습된 데이터 기반 구성 요소로 취급하는 LiDAR 장면 완성 방법인 RapidLiDAR를 제안한다. 각 부분 입력 점에 대해 공간적으로 변화하는 변위를 예측하는 적응형 초기화 모듈을 제안하여, 수동 노이즈 조정 없이 국소 기하 구조에 적응된 대략적인 장면 초기화로 부분 관측을 확장한다. 이러한 대략적인 초기화를 완전하고 일관된 장면으로 정제하기 위해, 입력 스캔으로부터 구축된 다중 스케일 3차원 복셀 및 2차원 BEV 특징 맵을 질의하여 점 위치를 추가로 정제하는 다중 스케일 재구성 모듈을 추가로 제안한다. 최원점 샘플링(farthest point sampling)과 k-최근접 이웃 탐색(k-nearest neighbor search)과 같은 점 이웃 연산자를 복셀 및 BEV 기반 특징 추출로 대체함으로써, 제안된 아키텍처는 더 빠르며 설계상 다양한 입력 해상도를 처리할 수 있다. SemanticKITTI와 KITTI-360에 대한 실험에서, 본 방법은 최첨단 기법과 동등한 완성 성능을 달성하면서 전체 장면을 0.1초에 완성하며, 이는 가장 빠른 기존 방법보다 2.3배 빠른 것이다. 이는 일반적인 차량용 LiDAR 센서의 10Hz 취득 주파수에 해당하며, 실시간 LiDAR 장면 완성을 향한 한 걸음이 된다.

토큰 수준 환각 탐지기는 각 토큰을 단일 신호로부터 독립적으로 점수화하며, 생성 모델이 확신에 차서 틀린 경우 정확히 실패한다. 본 논문은 환각을 시간적으로 확장된 구간으로 간주하고 이를 시퀀스 레이블링으로 탐지한다. 각 토큰은 텍스트 통계, 자연어 추론(NLI) 함의, 언어 모델 서프라이절을 융합한 33차원 특징 스트림으로부터 점수화되며, 모델 내부에는 접근하지 않는다. 이러한 특징을 입력으로 하는 양방향 게이트 순환 유닛(BiGRU)은 RAGTruth에서 AUC 0.840(10개 시드)을 달성하여, 독립 로지스틱 회귀 베이스라인보다 11포인트 높은 성능을 보인다(p = 0.002, 윌콕슨 부호 순위 검정). 통제된 분해 분석에 따르면 이러한 성능 향상의 대부분은 모델 용량보다 시간적 순서에서 비롯된다. 즉, 구간 내에서 확신이 있는 위치의 증거가 모호한 이웃 위치로 전파된다. 동일한 0.845 상한이 순환, 상태 공간(Mamba), 어텐션 아키텍처 전반에서 반복되며, 이는 병목이 모델이 아니라 특징 집합에 있음을 보여준다. 이 탐지기는 생성된 텍스트와 외부 신호만 읽으므로 폐쇄형 모델에도 적용할 수 있으며, 훈련 중 본 적 없는 언어 모델이 생성한 텍스트에서도 AUC 손실이 4% 미만으로 계속 작동한다.

객체 탐지기는 훈련 범주 밖의 객체에 대해 과신하는 예측을 자주 생성하여, 이른바 분포 외(out-of-distribution, OoD) 환각을 초래한다. 이러한 환각을 탐지하거나 완화하기 위한 기존 접근법은 일반적으로 학습된 객체 탐지기 표현에 직접 점수 함수를 구성하거나, 환각 발생을 억제하도록 객체 탐지기 자체를 수정한다. 그러나 이러한 표현에 암시적으로 인코딩된 잠재 사전 지식은 대부분 탐구되지 않았으며 OoD 탐지를 위해 명시적으로 디코딩되지 않았다. 이러한 잠재 사전 지식을 발견하고 활용하기 위해, 우리는 사전 훈련된 객체 탐지기로부터 OoD 관련 사전 지식을 명시적으로 이끌어내는 환각 중심 프레임워크인 구조적 사전 지식(Structured Prior Knowledge, SPK)을 제안한다. 구체적으로, SPK는 분포 내 데이터와 환각 유발 샘플을 진단적 감독으로 활용하여 객체 탐지기 의사 결정의 기반이 되는 부분 수준 의미 개념을 이끌어내며, 이를 단순히 거부나 객체 탐지기 적응에 사용하지 않는다. 이끌어낸 의미 사전 지식은 기하학적 및 맥락적 사전 지식과 통합되어 OoD 탐지를 위한 간결한 5차원 SPK 표현을 형성한다. 다양한 객체 탐지기 아키텍처와 여러 OoD 벤치마크에 걸친 광범위한 실험을 통해 SPK가 최첨단 OoD 탐지 성능을 달성함을 입증한다. 우리의 연구 결과는 사전 훈련된 객체 탐지기가 OoD 탐지를 위해 일반적으로 활용되는 것보다 훨씬 더 풍부한 잠재 지식을 이미 인코딩하고 있음을 보여준다. 더 중요한 것은, 이 지식을 명시적으로 이끌어내어 예측 신뢰도 분석을 위한 간결하고 구조화되며 해석 가능한 지식 공간으로 조직할 수 있다는 점이다. 이는 잠재 사전 지식을 명시적으로 발견하고 활용함으로써 객체 탐지기 신뢰도를 향상시킬 수 있는 유망한 능동적 경로를 시사한다. 코드와 데이터는 https://gricad-gitlab.univ-grenoble-alpes.fr/dnn-safety/spk 에서 이용 가능하다.