AI 연구 논문 데일리

파운데이션 비전-언어 모델(VLM)은 세계에 대한 폭넓은 지능을 보이지만, 이러한 지능을 로봇 제어로 옮기는 일은 여전히 어렵다. 우리는 의도와 행동을 연결하는 간결한 의미 인터페이스를 통해 VLM이 로봇을 "플레이"할 수 있게 하는 체화형 하네스인 Show-Harness를 제안한다. Show-Harness는 VLM이 자연스럽게 추론할 수 있는 이산적 의미 행동 단위를 노출하는 한편, 임바디먼트별 해석기가 이를 결정론적으로 로컬 로봇 행동으로 그라운딩하도록 하여, VLM이 세밀한 물리적 결정을 직접 담당하도록 유지한다. 동일한 인터페이스를 통해 Show-Harness는 (1) 폐쇄형 프런티어 VLM을 제로샷 로봇 제어에 직접 활용하는 것과 (2) 소규모 오픈소스 VLM을 단 몇 GPU-시간의 미세조정만으로 저비용 배포에 적응시키는 것의 가능성을 입증한다. 우리는 또한 동일한 의미 행동 공간을 GUI 기반 시연 수집으로 확장하는 GUMI(GUI Manipulation Interface)를 개발한다. 이는 인간과 에이전트가 특수한 원격조작 하드웨어 없이 여러 임바디먼트에 걸쳐 로봇을 "플레이"할 수 있게 한다. 광범위한 실험은 Show-Harness를 장착한 VLM 에이전트가 과제, 임바디먼트, 환경 전반에 걸쳐 견고하게 일반화하며, 대표적인 에이전트형 및 VLA 패러다임을 능가함을 보여준다. 이러한 결과는 올바른 인터페이스가 추가 모델 용량이나 비용이 많이 드는 임바디먼트별 사전학습 없이도 파운데이션 VLM으로부터 상당한 체화 능력을 이끌어낼 수 있음을 시사한다.

대규모 언어 모델(LLM) 기반 다중 에이전트 시스템(MAS)은 특화된 다중 에이전트를 사용함으로써 강력한 성능을 달성하지만, 그 성능은 각 에이전트의 프롬프트 설계에 의존한다. MAS 프롬프트 최적화를 위해, 자연어 피드백을 사용하여 프롬프트 업데이트를 안내하는 텍스트 그래디언트 방법이 주도적 패러다임으로 부상했다. 본 논문에서 우리는 기존 텍스트 그래디언트 접근법의 두 단계, 즉 그래디언트 추출과 그래디언트 집계에서의 한계를 식별한다. 그래디언트 추출에서, 이전 연구들은 대상 프롬프트를 수정하는 것이 실패를 해결하는지 검증하지 않은 채 대상 프롬프트를 선택하고, 해당 에이전트의 중간 출력에 대한 에이전트 수준 감독 없이 그래디언트를 도출한다. 그래디언트 집계에서, 개별 그래디언트는 무작위로 그룹화되고 연결되어, 종종 서로 관련 없는 실패 모드를 혼합하고 일반화에 실패하는 프롬프트를 생성한다. 이러한 한계를 해결하기 위해, 우리는 순차적 개입과 의미론적 텍스트 그래디언트 추상화에 기반한 다중 에이전트 시스템용 프롬프트 최적화 프레임워크인 AgentGrad를 제안한다. 각 실패에 대해, 순차적 개입은 한 번에 하나의 에이전트의 행동을 수정하여 수정이 실패를 해결하는 대상 에이전트를 식별한다. 그런 다음 대상 에이전트의 수정된 출력은 세밀한 그래디언트를 추출하기 위한 에이전트 수준 감독으로 작용한다. 의미론적 텍스트 그래디언트 추상화는 의미론적으로 유사한 그래디언트를 클러스터링하여 관련 없는 실패 모드가 혼합되는 것을 방지하고, 각 클러스터를 공유된 교정 패턴을 포착하는 일반화된 그래디언트로 추상화한다. 실험 결과는 AgentGrad가 다섯 개의 MAS 벤치마크에서 최신 최고 성능을 달성하고, 다음으로 빠른 베이스라인과 비교하여 실제 경과 최적화 시간을 평균 2.5배 단축함을 보여준다.

최근의 비디오 월드 모델들은 점점 더 사실적이고 상호작용적인 시각 경험을 생성하지만, 장기 상호작용에 걸쳐 지속적인 월드 상태를 유지하고 프로그래밍 가능한 규칙을 강제할 신뢰할 수 있는 메커니즘이 부족하다. 우리는 월드 상태 진화를 시각적 관측 생성으로부터 분리하는 프레임워크인 프로그래머블 월드 모델(Programmable World Model)을 제안한다. 에이전트는 자연어 지시를 개체 상태와 상태 전이 규칙을 지정하는 실행 가능한 프로그램으로 변환하여, 개별 개체와 이들의 상호작용을 직접 제어할 수 있게 한다. 경량 엔진은 이러한 프로그램을 실행하여 화면 밖 개체와 비시각적 속성을 포함하는 명시적이고 지속적인 전역 월드 상태를 갱신하고 유지한다. 월드 상태를 시각 생성과 연결하기 위해, 우리는 상태 증강 3D 방향성 경계 상자(OBB)를 중간 표현으로 도입한다. 이 표현은 목표 카메라 궤적과 함께 생성형 렌더러 역할을 하는 사전 학습된 비디오 모델을 위한 픽셀 정렬 시공간 조건화 신호로 결정론적으로 컴파일된다. 이 설계는 사용자가 미리 정의된 메커닉을 가진 플레이 가능한 게임을 만들고, 개별 개체를 직접 제어하며, 게임플레이 전반에 걸쳐 지속적인 월드 상태를 유지할 수 있게 한다. 우리는 또한 프로그래머블 월드 모델을 평가하기 위한 벤치마크인 CombatStateBench를 소개한다. CombatStateBench에서 우리 방법은 94%의 개수 정확도(Count Accuracy)와 98%의 상태 정확도(State Accuracy)를 달성하여, 일관된 장기(long-horizon) 생성을 지원하면서 기존 상호작용형 비디오 월드 모델을 크게 능가한다. 이러한 결과는 지속적이고 프로그래밍 가능한 월드 구축을 위해 명시적 상태 진화를 생성형 렌더링으로부터 분리하는 것의 효과를 입증한다.

웨어러블 센싱의 최근 발전은 생리적 및 행동적 신호의 지속적 모니터링을 가능하게 하지만, 기존 벤치마크는 AI 시스템이 실제 사용자의 종단적 웨어러블 기록에 대해 추론할 수 있는지를 거의 평가하지 않는다. 우리는 실제 사용자 200명의 웨어러블 시계열, 혈액 바이오마커, 인구통계학적 정보로부터 구축된 4,084개의 10지선다형 객관식 문제로 구성된 벤치마크인 WearableQA를 제안한다. 각 사용자는 최대 500일간의 일일 측정값을 가진다. WearableQA는 기기 노이즈와 개인 간 변동성을 포함하는 실제 웨어러블 분포를 보존한다. 서로 다른 추론 능력을 평가하기 위해 우리는 두 개의 상호 보완적 축을 따라 구성된 16가지 문제 유형을 제안한다. 데이터 추론 대 건강 추론은 종단적 측정값에 대한 계산과 생리학적 해석을 구분하며, 단일 신호 추론 대 교차 신호 추론은 개별 신호에 대한 추론과 여러 신호의 통합을 분리한다. 대규모로 신뢰할 수 있는 문제를 구축하기 위해 우리는 문헌에 근거한 생리학적 발견과 통계적으로 검증된 인구집단 기반 생리학적 패턴을 결합하는 이중 그라운딩 프레임워크를 채택한다. 이는 실제 웨어러블 데이터에서 관찰되는 의미 있는 관계를 포착할 수 있게 한다. 14개의 독점 및 오픈소스 LLM을 평가한 결과, WearableQA는 모델 능력을 효과적으로 구별하며, 성능은 10% 우연 기준선 대비 19.6%에서 72.9% 범위에 이른다. 더욱이 WearableQA는 아직 해결과 거리가 멀다. 대부분의 모델이 60% 미만의 정확도를 달성한다. 종합적으로 WearableQA는 실제 웨어러블 데이터에 대한 LLM 추론을 평가하기 위한 현실적이고 진단적인 벤치마크를 제공한다.

SWE-Bench Pro는 어려운 저장소 수준 과제에서 소프트웨어 엔지니어링 에이전트를 평가하기 위한 표준 벤치마크로 자리 잡았다. 그러나 우리의 분석 작업은 그 평가가 두 가지 불신뢰성 원인에 의해 훼손된다는 점을 보여준다. 하나는 정답 해 또는 숨겨진 평가 정보의 유출로 가능해진 보상 해킹이고, 다른 하나는 오해를 유발하는 문제 설명과 부적절하게 범위가 설정된 테스트를 포함한 과제 품질 문제이다. 이러한 문제들은 벤치마크 성능을 부풀리고 에이전트의 진정한 코딩 능력을 가릴 수 있다. 우리는 두 문제를 모두 해결한 SWE-Bench Pro의 검증된 버전인 SWE-Bench Pro Verified를 제시한다. 우리의 접근법은 정상적인 에이전트 기능을 방해하지 않으면서 주요 유출 경로를 제거하는 해킹 방지 안전장치와, 결함 있는 인스턴스 내의 불일치를 최소한으로 수정하는 과제 정교화를 결합한다. SWE-Bench Pro Verified에 대한 평가는 일부 모델이 이전에 보고된 것보다 상당히 저조한 성능을 보인다는 점을 드러내며, 이는 SWE-Bench Pro에 대한 기존 결과가 실제 소프트웨어 엔지니어링 역량을 과대평가했을 수 있음을 시사한다. SWE-Bench Pro Verified는 소프트웨어 엔지니어링 에이전트를 평가하기 위한 더 신뢰할 수 있는 벤치마크를 제공한다.

시간적으로 일관되고 발화와 의미적으로 정렬되며 주변 객체에 기반을 둔 발화 동반 제스처를 생성하는 것은 여전히 어려운 과제이다. 기존의 발화 기반 제스처 모델들은 오디오-제스처 정렬을 강조하지만 자세 제약이나 주변 객체를 명시적으로 고려하지 않아, 신체 제스처와 물리적 공간 사이의 내재적 상관관계를 포착하지 못한다. 우리는 인과적 잠재 공간에서 동작하는 자세 인식 및 객체 기반 발화 동반 제스처 확산 모델인 Puppeteer를 제안한다. 우리는 긴 제스처를 구조화된 프리미티브로 분해하고, 이를 시간 순서가 있는 잠재 토큰으로 인코딩하는 인과적 변분 오토인코더를 학습하며, 각 토큰은 과거에만 의존한다. 그다음, 음성 신호, 동작 이력, 초기 자세 참조, 객체 형상을 조건으로 하여 인과적 잠재 공간에서 직접 조건부 확산을 수행함으로써 물리적으로 일관된 제스처를 합성한다. 이러한 시간 순서 잠재 표현은 명시적 시간 제어를 가능하게 하고 제스처 중간 보간 및 제스처 완성과 같은 작업을 지원한다. 기존 척도를 넘어 발화 동반 제스처 합성을 더 잘 평가하기 위해, 우리는 이 작업에 맞춘 새로운 평가 지표를 도입한다. 또한 객체 기반 제스처 생성을 가능하게 하는, 체화된 발화 동반 제스처와 대응하는 3D 객체로 구성된 최초의 정제된 합성 3D 데이터셋인 SceneGes를 구축한다. 실험은 Puppeteer가 기존 방법보다 더 다양하고 시간적으로 동기화된 제스처를 생성하면서 객체 기반 제스처 합성을 가능하게 함을 보여준다.

재귀적 자기개선(RSI) 연구가 주로 모델 학습 파이프라인을 자동화해 왔지만, 신뢰할 수 있는 자율 개발에는 빠져 있는 핵심 축이 있다: 모델이 무엇을 학습하는지 이해하고 안전한 정렬을 보장하기 위한 사후 모니터링 및 감사이다. 기계적 해석 가능성 도구는 이 간극을 메우는 데 필수적이며, 그중 희소 오토인코더(SAE)는 모델 검사와 조향을 위한 해석 가능한 특징을 분리함으로써 초석 역할을 한다. 본 논문에서 우리는 AI 에이전트가 SAE 도구를 활용하여 자율적 메커니즘 발견을 수행하는 과학자로서 행동할 수 있는지 평가하기 위한 SAEScientist-Bench를 소개한다. 목표 개념이 주어지면, 에이전트는 대조 프로브를 설계하고 Gemma-2-9B-IT의 131K+ 특징으로 구성된 Gemma Scope 사전을 탐색하여 최적 특징을 발견하며, 이는 활성화 순위, 대조 텍스트에 대한 개념 선택성, 인과적 조향 전반에 걸쳐 Neuronpedia에 기반한 선별된 전문가 참조 특징과 비교하여 평가된다. 10개의 에이전트 구성과 20개의 과제에서 프런티어 에이전트는 진정한 발견 능력을 입증하고 서로 다른 평가 차원에서 앞서지만, 전문가 기준선에는 여전히 크게 뒤처진다. 이들은 대조 통제로부터 목표 개념을 분리하는 데서는 전문가 수준에 근접하지만, 인과적 생성 조향에서는 상당히 뒤처진다. 추가 분석은 에이전트가 허위 후보를 배제하기 위한 대조를 설계할 수 있음에도 실험 측정값을 자주 잘못 해석한다는 점을 보여준다. 이러한 결과는 실험적 모델 이해를 폐루프 자율 AI R&D를 위한 측정 가능한 역량으로 확립한다. 우리의 코드는 https://github.com/Trae1ounG/SAEScientist에서 확인할 수 있다.

AI 연구 에이전트는 사전 지식, 공개 출처, 실험 피드백을 결합하여 유용한 결과를 산출한다. 발견 인증 프로토콜(DCP)은 이러한 결과에 관한 주장을 실행 가능한 복원 및 피드백 테스트로 전환한다. 게이트 1은 봉인된 평가에서 유용한 개선을 검증한다. 게이트 2는 매칭된 에이전트에게 등록된 시작 정보와 관찰된 웹 콘텐츠를 제공하는 한편, 목표 연구 이력은 제공하지 않는다. 수치 목표에 도달한 모든 유효한 방법은 복원 증인(recovery witness)을 제공하고 Core 거부권을 발동한다. DCP Core는 적절한 통제, 관찰된 복원 0건, 그리고 하나의 새로 등록된 에피소드에서 복원에 대한 유한 표본 경계를 요구한다. 선택적 게이트 3은 공유 체크포인트로부터 지정된 중립 정책에 상대적인 진실한 피드백의 평균 효과를 측정한다. DCP Evidence는 독립적 널 보정과 등록된 효과 마진 이후에 이 효과를 추가한다. 두 개의 통제된 감사는 서로 다른 모델에서 SQLite 최적화와 가상 촉매 제어에서 전체 프로토콜을 실행한다. 각각은 96개 에피소드에서 복원 0건을 산출했으며, 상한은 0.0468이었다. 각 짝지은 연구는 60쌍 널 연구를 통과하면서 30건의 진실한 복원과 0건의 중립 복원을 산출했다. 추가 사례들은 Core, 복원됨(recovered), 감사 미완료(audit-incomplete) 결정을 시험한다. 결정론적이며 LLM을 사용하지 않는 검증기는 동결된 증거로부터 결정을 재현한다. DCP는 AI 연구 전반에 걸쳐 유용한 결과, 대안 경로, 피드백 효과를 위한 공통 증거 언어를 제공한다.

월드 모델은 정책 인 더 루프(policy-in-the-loop) 상상 환경으로 점점 더 많이 사용되고 있으며, 여기서 신뢰할 수 있는 롤아웃은 저수준 로봇 행동에 대한 세밀한 제어 가능성을 요구한다. 로보틱스에서 이러한 모델을 확장하는 데 있어 핵심 장애물은 행동이 픽셀 공간에서 보편적 언어가 아니라는 점이다. 즉, 시각적 환경, 카메라 시점, 로봇 배치 또는 구현체(embodiment)의 변화는 동일한 수치적 행동이 시각적으로 발현되는 방식을 바꾸어, 혼합 학습에서 상충하는 지도 신호를 초래하고 배포 시 취약한 일반화로 이어진다. 우리는 추가 학습 없이 보지 못한 환경 전반에서 제로샷 시뮬레이터 역할을 하는 행동 조건부 월드 모델인 SyncWorld를 소개한다. SyncWorld는 모든 제어 가능한 자유도를 보여주는 짝지어진 프레임과 행동으로 이루어진 시각적 캘리브레이션 에피소드를 활용하여, 설정별 행동–시각 매핑(Action–Visual Mapping)을 맥락 내에서 지정한다. 시각적 캘리브레이션 맥락을 사용한 학습은 모델이 시각적 증거를 통해 행동을 해석하고, 명시적 캘리브레이션이 없을 때 상호작용 이력을 활용하도록 학습시킨다. 실험은 SyncWorld가 이전에 보지 못한 설정에서 행동 결과를 정확하게 시뮬레이션할 수 있음을, 그리고 롤아웃을 시뮬레이션하는 능력이 학습 없이 테스트 시 정책 개선을 가능하게 함을 보여준다.

고품질의 구조화된 유기 반응 데이터는 화학을 위한 인공지능(AI4Chem) 개발에 필수적이지만, 이러한 지식의 상당 부분은 여전히 특허 텍스트, 이미지, 반응식에 분산되어 있다. 우리는 특허 텍스트, 이미지, 반응식을 통합하는 완전 자동화 추출 및 정규화 파이프라인을 통해 구축된 대규모의 세분화된 유기 반응 데이터 플랫폼인 DianShi-RxnDB를 제시한다. 이 코퍼스는 1976년부터 2025년 사이에 공개된 USPTO 및 EPO의 유기 합성 특허를 포괄하며, 약 2,400만 건의 반응 사례를 생성하고, 이 중 약 1,480만 건(61.7%)이 자동화된 적격성 검사를 통과한다. 각 사례는 반응 참여물, 역할, 양, 온도, 반응 시간, 수율, 실험 절차, 출처 특허로의 출처 링크를 기록한 특정 단일 단계 실험을 나타낸다. 적격 판정된 사례 중 표본 1,300건에 대한 수동 평가에서 마이크로 평균 필드 수준 정확도는 92.95%였다. Pistachio와의 매칭 비교는 중복 제거된 레코드 수, 표현 세분성, 필드 수준 완전 일치에서 우위를 추가로 보여주었다. 이 플랫폼은 레코드를 검색, 필터링, 비교, 출처 검증하기 위한 웹 연구 워크벤치와 AI 에이전트에게 구성 가능한 구조화 검색 도구를 제공하는 Model Context Protocol(MCP) 서비스를 제공한다. DianShi-RxnDB는 https://dianshi.opendatalab.org.cn/ 에서 이용할 수 있다.

대규모 언어 모델(LLM)은 추론과 코드 생성에서 놀라운 역량을 입증해 왔으며, 이는 이들이 자신을 구동하는 바로 그 인프라를 개발하고 최적화하는 데 기여할 수 있다는 전망을 제기한다. 그러나 기존 벤치마크는 주로 개별 커널, 사전 정의된 연산자 또는 사전 지정된 최적화 목표에 초점을 맞추고 있어, LLM이 개방형·장기적(long-horizon) LLM 인프라 엔지니어링을 수행하는 능력을 평가하지 못한다. 이러한 격차를 해결하기 위해, 우리는 LLM 인프라 스택 엔지니어링에 대한 LLM의 능력을 체계적으로 평가하기 위한 벤치마크인 Φ-Bench를 제안한다. 최첨단 연구에서 다루어지는 최적화 문제에서 파생되고 실제 코드 저장소에 기반한 Φ-Bench는 LLM 인프라 스택을 폭넓게 포괄하며, 국소적 커널 수준 함수 완성부터 장기적 구현 및 엔드투엔드 시스템 최적화에 이르기까지 다양한 복잡도의 작업을 아우른다. 최첨단 LLM에 대한 광범위한 실험은 복잡한 LLM 인프라를 엔지니어링하는 현재의 능력과 한계를 드러내며, 미래 AI 인프라의 자율 최적화를 향한 경로에 남아 있는 과제에 대한 통찰을 제공한다.

대규모 언어 모델(LLM)은 추론 능력을 향상시키기 위해 종종 미리 수집된 추론 궤적에 대해 사후 학습된다. 이러한 궤적은 복잡하게 얽힌 경로로 인해 길어지는 경향이 있으며, 이 경로는 종종 정답에 이르는 길에 우회로를 포함한다. 그러나 LLM이 지도 미세 조정(SFT)과 같은 사후 학습에서 완전한 궤적을 학습하는 것이 실제로 이점이 되는지는 충분히 연구되지 않았다. 우리의 예비 연구를 출발점으로 삼아, 우리는 완전한 궤적은 제한된 이점만을 제공하는 반면, 부분 궤적은 심한 절단 하에서도 효과적임을 발견한다. 우리는 어텐션 기반 분석과 통제된 토큰 제거 연구를 통해 추론 궤적의 중복성을 분석하며, 두 방법 모두 중간 토큰이 최종 추론 품질에 최소한으로 기여함을 보여준다. 이는 중복 정보를 피하는 것이, 알려진 궤적 종점이 주어졌을 때 LLM이 내부 지식으로부터 누락된 단계를 추론하여 내부적으로 일관된 대안을 추론할 수 있게 함을 시사한다. 또한, 우리는 종점들을 사용하여 LLM을 학습시키는 것이 추론 행동에 일관된 변화를 가져오며, 강화 학습 또는 온폴리시 증류에 기반한 사후 학습 방법에도 이점을 준다는 것을 보여주며, 이는 완전한 추론 궤적을 재검토할 필요성을 부각한다. 코드는 https://github.com/naver-ai/revisiting-trace에서 확인할 수 있다.

훈련 전략, 즉 처음부터 재훈련할지 아니면 이전 체크포인트에서 미세 조정할지는 능동 학습에서 간과된 결정 변수이다. 우리는 이 선택이 활용 가능한 구조를 가짐을 보인다: 재훈련은 각 배치가 레이블 분포를 상당히 재형성할 수 있는 초기 라운드에서 가장 유용한 반면, 미세 조정은 모델 궤적이 안정화되면 더 안전해진다. 우리는 온라인 안정화 신호를 모니터링하고 지속적인 안정화 후 재훈련에서 미세 조정으로 전환하는 적응형 훈련 일정인 HybridAL을 제안한다. 두 가지 상호 보완적인 신호, 즉 스펙트럼 지수 변화 Δα (가중치 기반)와 정확도 변화 ΔAcc (검증 기반)는 시간-캘리브레이션 트레이드오프에서 서로 다른 지점을 포괄한다. 세 가지 인코더 백본과 여섯 가지 텍스트 분류 작업(각각 다섯 개 시드)에 걸쳐, HybridAL은 최종 매크로-F1을 0.010 마진에서 재훈련 및 미세 조정에 비해 비열등하게 유지하고, 재훈련 시간의 최대 49%를 절약하며, 음의 로그 우도(NLL)로 측정된 재훈련의 캘리브레이션 이점의 상당 부분을 회복한다. 사전에 정한 라운드에서 전환하는 일정과 비교할 때, HybridAL은 적당한 추가 비용으로 더 낮은 NLL을 얻으며, 이는 궤적 의존적 전환이 고정된 조기 전환보다 더 강력한 시간-캘리브레이션 트레이드오프를 제공함을 보여준다.

광고 비디오 생성은 비디오 합성 작업일 뿐만 아니라, 성공이 온라인 비즈니스 지표로 측정되는 제품 조건부 추론 문제이기도 하다. 최근의 비디오 파운데이션 모델은 멀티모달 조건으로부터 사실적인 클립을 생성할 수 있지만, 제품이 효과적인 광고로 어떻게 변환되어야 하는지나 향후 생성이 온라인 비즈니스 피드백으로부터 어떻게 개선되어야 하는지를 최적화하지는 않는다. 이 루프를 닫기 위해, 우리는 광고 비디오 생성을 두 가지 학습 가능한 추론 단계인 전략 선택과 초안 생성으로 분해함으로써 온라인 비즈니스 피드백이 감독할 수 있는 최적화 목표를 드러내는 보상 기반 에이전트 프레임워크인 AgenticGen을 제안한다. AgenticGen은 축적된 온라인 피드백으로부터 성과 기반 보상을 학습하고, 인간 품질 기준과 정렬된 보완적 루브릭 기반 보상을 학습한 다음, 이를 사용하여 정책 최적화를 감독한다. DPO는 먼저 에이전트 정책을 온라인 선호도 쪽으로 이동시키고, GRPO는 과정 및 결과 보상으로 두 단계를 추가로 정교화한다. 오프라인 실험은 보상 모델과 순차적 정책 최적화를 검증한다. TikTok 광고 시스템에서의 온라인 A/B 실험은 DPO와 GRPO를 거친 AgenticGen이 SFT 기준선 대비 CTR을 2.72%, CVR을 2.63%, Advv를 9.61% 향상시킨다는 것을 보여준다.

우리는 LLM 에이전트에서의 스키밍(scheming), 즉 에이전트가 정렬되지 않은 목표를 은밀히 추구하는 행위를 연구한다. 우리의 초점은 도구적 목표, 환경적 어포던스, 감독 조건, 인지된 결과와 같은 핵심 요인들의 상호작용으로부터 스키밍이 어떻게 발생하는지 이해하는 것이다. 선행 연구는 소수의 시나리오만을 검토하여 이러한 조건이 에이전트의 스키밍 성향이나 능력을 어떻게 형성하는지 분리해내는 능력을 제한한다. 이러한 제한된 규모와 과제 다양성은 또한 현실적인 배포 환경과 관찰 가능한 스키밍 전략의 범위에 대한 포괄성을 제한한다. 이를 위해 우리는 다양한 안전 관련 도구 영역, 도구적 목표, 감독 조건, 압력 메커니즘에 걸친 요인 분해 시나리오 합성 프레임워크를 통해 구축된, 확장 가능한 스키밍 스트레스 테스트를 위한 400개 시나리오 벤치마크인 SCHEMEARENA를 소개한다. 확장 가능하고 신뢰할 수 있는 모니터링을 가능하게 하기 위해, 우리는 에이전트의 추론과 행동에서 도출된 증거에 다기준 판단을 근거시키는 스키밍 모니터 SCOUT을 추가로 제안한다. 다섯 개 LLM 에이전트에 대한 통제된 스트레스 테스트 전반에서, 우리는 명시적 도구적 목표가 스키밍 성향의 가장 강력한 동인임을 발견한다. 전략적 힌트는 에이전트가 스키밍 추론을 구체적인 은밀 행동으로 전환하도록 돕는 뚜렷한 역할을 한다. 감독은 혼합된 효과를 가진다: 여러 폐쇄형 모델에서 행동만을 모니터링하면 스키밍이 증가하는데, 이는 부분적 감독이 억제 요인이 아니라 최적화 제약으로 작용할 수 있음을 시사한다. CoT는 유용하지만 불완전한 모니터링 신호이다: 이는 실행 전 잠재적 스키밍을 드러낼 수 있지만, 행동만으로 이루어지는 스키밍은 명시적 추론 증거 없이도 은밀 행동이 발생할 수 있음을 보여준다. 우리는 벤치마크, 코드, 모니터를 https://github.com/launchnlp/SchemeArena 에 공개한다.

대규모 언어 모델을 이용한 형식 정리 증명의 선도적인 벤치마크들은 IMO와 Putnam 같은 경시대회 수학에서 발췌한 소규모 컬렉션으로, 분야별 응용을 잘 대표하지 못한다. 우리는 다양한 추상화 수준의 대학원 수준 확률과정 문제 450개를 각각의 자연어 원문과 짝지은 Lean 4 벤치마크인 StochBench를 소개한다. Mathlib에서 과소대표된 분야를 다루며, 이는 유한 및 가산 마르코프 연쇄, 재생 과정, 랜덤 워크, 마팅게일, 정지 시간, 대기행렬, 브라운 운동, 확률미적분, 약수렴, 푸아송 및 연속시간 마르코프 과정을 포함한다. Opus 4.8 기반 에이전트는 문제당 15분 제한에서 34.9%의 증명률(157/450)을 달성한다. StochBench는 영역 특화 응용수학을 더 잘 대표하면서도 고급 증명자에게는 여전히 도전적이다.

ChatGPT search, Google의 AI Overviews, Perplexity와 같은 AI 기반 검색 제품은 실시간 웹 결과에 근거하여 LLM이 합성한 답변을 제공한다. 우리는 자동화된 브라우저 에이전트와 제공자 라우팅 방식의 LLM 추론을 사용하는 오픈소스 답변 엔진인 OreoLook(이전 명칭 lixSearch)을 개발했다. 이 엔진의 로컬 검색, 캐싱, 세션 관리, 임베딩 스택은 범용 CPU 하드웨어에서 구동되며, 답변 합성은 원격 추론 제공자에 의해 수행된다. 사용량이 증가함에 따라 세션은 문맥을 상실했고, 동등한 쿼리는 중복 작업을 초래했으며, URL은 세션 간에 반복적으로 임베딩되었다. 우리는 3계층 캐싱 아키텍처를 제시한다: (1) Redis에서 최근 메시지의 롤링 윈도우를 유지하고 자동으로 Huffman 압축 디스크 아카이브로 오버플로하는 세션 컨텍스트 윈도우(Session Context Window); (2) 임베딩 벡터에 대한 코사인 유사도를 통해 질의 재표현을 포착하여 중복 LLM 호출을 제거하는 시맨틱 쿼리 캐시(Semantic Query Cache); 그리고 (3) 세션 간 임베딩 계산을 중복 제거하는 URL 임베딩 캐시(URL Embedding Cache). 단일 8-vCPU Intel Cascade Lake 서버(2 GHz, 32GB RAM)에 배포되어 3개의 컨테이너화된 레플리카에 걸쳐 30개의 Hypercorn 워커 프로세스를 실행하는 평가 대상 시스템은 0.1ms의 읽기 지연과 단 1.38MB의 메모리 오버헤드로 89.3%의 전체 Redis 키스페이스 적중률을 보고했다. 백그라운드 LRU 축출 데몬은 유휴 세션을 Redis에서 디스크로 마이그레이션하고 요청 시 다시 로드하여, 설정된 보존 정책에 따라 몇 시간 또는 며칠 후에도 재개할 수 있는 대화를 가능하게 한다.

재귀적 초해상도(Recursive Super-Resolution, SR)는 예측을 동일 모델에 반복적으로 피드백하여 고정 스케일 SR을 극한 확대까지 확장하며, 이는 이미지를 반복적으로 확대하는 것과 유사하다. 그러나 모든 스케일에서, 특히 깊은 스케일에서 정답(ground truth)의 가용성은 요구되는 소스 해상도가 기하급수적으로 증가하기 때문에 여전히 어려운 과제로 남아 있으며, 더 깊은 예측은 비지도 상태로 남게 된다. 우리는 OracleZoom을 제안한다. 이는 온-폴리시 증류에서 영감을 받은 참조 제약 프레임워크로, 자신의 궤적에서 학습하면서 마지막 정답 증거를 지도 경계 너머까지 전달한다. 직접 및 교차 스케일 지도는 검증 가능한 콘텐츠를 제약하고, 무참조 품질 목적 함수는 해결되지 않은 미세 스케일 디테일을 안내한다. KL 제약된 사전 학습 잠재 사전은 품질 주도 드리프트를 제한하며, EMA 일관성은 지도 경계를 안정화한다. 7개 데이터셋에서 OracleZoom은 줌 스케일 전반에 걸쳐 최고 수준의 SR 품질을 달성하여 평균 0.713 CLIPIQA를 기록하고, 더 깊은 스케일에서 더 큰 향상을 보이며, 환각을 상당히 줄인다. 코드, 데이터, 모델은 https://dipta007.github.io/OracleZoom/ 에서 이용할 수 있다.

비디오 이해는 비디오 표현을 사전학습된 대규모 언어 모델과 결합하고 텍스트 프롬프트에 생성 조건을 둔 시스템인 비디오 대규모 언어 모델(VideoLLM)로 빠르게 발전해 왔다. 이들은 캡션 생성, 질의응답, 검색, 시간적 그라운딩에서 강력한 성능을 보이지만, 그 대가는 프레임 수와 문맥 길이에 따라 증가하는 계산 및 메모리 비용이며, 이는 실시간, 모바일 및 자원 제약 환경에서의 배포를 제한한다. 본 서베이는 파라미터 수, 입력당 FLOPs, 지연시간, 메모리, 또는 시각 및 오디오 토큰 수의 구체적인 감소를 보고하는 시각 및 오디오비주얼 VideoLLM을 위한 추론 효율화 기법을 다룬다. 우리는 프레임 샘플링, 모달리티 인코딩, 커넥터 수준 토큰 감소, LLM 프리필링 및 디코딩 전반에 걸친 병목을 분석한다. 우리는 방법들을 작동하는 파이프라인 단계별로 정리하며, 2022년 말 이후 개발된 VideoLLM과 현재 파이프라인의 구성 요소로 남아 있는 초기 프레임 샘플링 및 비전 인코더 메커니즘을 함께 다룬다. 가능한 경우 동일한 호스트 모델과 입력 프로토콜 하에서 문헌에 보고된 정확도-비용 비교를 수집하고, 이를 이질적인 논문 간 증거와 구분하며, 오디오비주얼 효율성과 표준화된 평가의 격차를 식별한다. 우리는 https://github.com/momentslab/awesome-efficient-videollm 에 저장소를 유지 관리한다.

에이전트 하네스(모델을 둘러싼 시스템 프롬프트, 도구 세트, 실행 훅, 컨텍스트 관리 스캐폴딩)는 에이전트 과업 성공의 핵심 결정 요인이다. 자동화된 하네스 진화는 더 작은 모델이 프런티어 모델 비용의 일부만으로 도메인 특화 과업에서 좋은 성능을 내도록 할 수 있다. 하네스와 모델 가중치가 모두 행동을 형성하므로, 우리는 하네스 진화와 경량 미세조정을 어떻게 결합해야 하는지 질문한다. 일곱 개의 엔터프라이즈 에이전트 과업 전반에서, 우리는 먼저 더 약한 모델로 하네스를 진화시킨 뒤, 더 강한 전문가가 이를 더 효과적으로 사용하는 경우가 많음을 발견하며, 이는 전문가 감독이 남은 격차를 좁힐 수 있음을 시사한다. 그러나 진화된 하네스 아래에서 전문가의 전체 궤적을 사용해 더 약한 모델을 훈련하는 것은 역효과를 낳는다: 동일한 절차가 진화되지 않은 하네스 아래에서는 도움이 되는데도, Qwen3-Coder와 Gemma 4 전반에서 일곱 개 과업 모두에서 성능이 4~30점 저하된다. 우리의 분석은 모방이 지식을 전이하고 스캐폴딩 사용을 증가시키지만 모델-하네스 적합성을 훼손함을 보여준다: 더 약한 모델은 이를 실행할 역량 없이 전문가의 계획 전략을 채택하고, 더 이상 자신의 본래 계획 스타일을 중심으로 진화한 하네스와 맞지 않는다. 따라서 우리는 메타 수준 MLE 에이전트에 의해 자동화되는 온폴리시 전문가 교정 파이프라인을 개발한다. 이 파이프라인은 더 약한 모델 자체의 롤아웃에서 실패한 턴을 국소화하고, 전문가에게 해당 턴만 재작성하도록 요청한다. 이는 모델의 계획 스타일을 보존하고 하네스 진화와 모델 적응의 이점을 결합한다. 우리의 결과는 하네스와 가중치 업데이트 사이의 상충 원인을 식별하고 해결하여, 도메인 특화 엔터프라이즈 과업에서 경제적인 공진화를 위한 호환성 보존 레시피를 제시한다.

순차 메모리 에이전트는 문서를 청크 단위로 차례로 읽으면서 간결한 메모리 상태를 유지함으로써 긴 문서를 처리하며, 이는 문서 순회를 추론 깊이에 결합한다. 이러한 결합은 증거 배치에 대한 민감도를 초래하고 추론 지연 시간을 문서 길이에 선형으로 연결한다. 우리는 읽기와 추론을 분리하는 PARSER를 제안한다. 각각 단일 청크에 결속된 경량 서브에이전트 뱅크가 전체 문서를 병렬로 읽는 동안, 리드 에이전트는 반복적인 스캐터-개더 라운드를 통해 심층적으로 추론한다. 각 라운드에서 리드 에이전트는 모든 서브에이전트에 쿼리를 브로드캐스트하고, 반환된 증거를 집계하며, 지금까지 발견된 내용에 조건화된 더 깊은 후속 쿼리를 구성한다. 이렇게 분리된 설계는 모든 학습 가능한 행동을 리드 에이전트에 집중시키며, 리드 에이전트는 강화 학습으로 최적화되는 반면 서브에이전트는 고정된 기성 모델로 유지된다. 7K에서 896K 토큰 범위의 컨텍스트를 가진 멀티홉 QA에서, 4B 백본을 사용한 PARSER는 가장 강력한 순차 메모리 기준선을 평균 5.7점, 896K 토큰에서 12.0점 능가한다. 9B 백본으로 확장하면 PARSER는 DeepSeek-V4-Pro를 6.3점 능가한다. 통제 실험은 PARSER가 증거 위치, 순서, 거리의 교란, 즉 순차 방법에서 큰 정확도 변동을 일으키는 조건에 강건함을 확인시켜 주며, 추론 지연 시간을 최대 11배까지 감소시킨다.

코드 편집에 사용되는 대규모 언어 모델은 최소 두 가지 출력 방식으로 학습되고 배포될 수 있다. 하나는 직접 생성으로, 모델이 수정된 전체 파일을 한 번에 출력하는 방식이다. 다른 하나는 반복적 diff 기반 생성("steps")으로, 모델이 국소적 검색/치환 편집의 시퀀스를 출력하고 완료를 알리거나 스텝 예산이 소진될 때까지 이를 한 번에 하나씩 적용하는 방식이다. diff 기반 방식은 개발자가 코드를 편집하는 방식과 유사하고 턴당 생성 토큰 수를 훨씬 적게 요구할 것으로 기대되므로 매력적이다. 우리는 두 개의 코드 모델, 즉 처음부터 학습한 100M 파라미터 모델(Rainbow-Pony-100M)과 미세조정된 Qwen2.5-Coder-0.5B를 공유 Flutter/Dart 데이터셋에서 두 방식 모두로 학습시키고, 그 결과로 나온 네 모델 모두를 모델당 약 1,790개 태스크로 구성된 홀드아웃 세트에서 평가한다. 직접 생성은 우리가 측정하는 모든 지표, 즉 컴파일/정적 분석 통과율, 바이트당 비트, 참조와의 문자 수준 유사도, 그리고 목표 충족, 정확성, 코드 품질에 대한 블라인드 LLM 심사 평가에서 diff 기반 생성보다 크게 우수하며, 이러한 격차는 매칭 ID 비교를 통해 태스크 난이도를 통제한 뒤에도, 그리고 양쪽 모두에서 컴파일되는 코드로 제한했을 때도 지속된다. 그런 다음 우리는 diff 기반 생성이 실제로 우세를 보이는 조건의 배후에 있는 단일하고 아키텍처 독립적인 메커니즘을 규명한다. 그것은 짧고 공간적으로 국소화된 편집에서 경쟁력이 있으며, 범주 수준의 우세는 우리 데이터셋에서 평균 편집 스텝 수가 가장 낮은 바로 두 태스크 범주, 즉 리팩터링과 오류 처리/엣지 케이스 수정에 정확히 집중된다. 우리는 이를 태스크 국소성(task locality)이라고 부르고, 편집 기반 학습 방식이 코드 편집 모델에 적절한 선택인 경우와 그렇지 않은 경우에 대한 함의를 논의한다.

기존 정서 지원 대화 시스템은 주로 일대일 도움 요청자-지원자 상호작용과 개별 정서 상태에 초점을 맞추어, 다자간 상황에서의 대인 관계는 충분히 탐구되지 않은 상태로 남아 있다. 본 연구에서는 LLM이 관계의 변화하는 역동성을 포착하고 활용하여 보다 효과적인 정서적 지원을 제공할 수 있는지 평가하는 새로운 과제인 관계 인식 정서 지원 대화를 소개한다. 우리는 실제 부부 및 가족 인터뷰 대화로부터 RESCUE(Relation-aware Emotional Support Conversation Understanding and Evaluation Benchmark)를 구축하며, 이는 191개 샘플, 7,079개의 주석이 달린 발화 턴, 1,064.8분의 영상을 포함한다. 사회정서적 및 지원 관련 역동성에 대한 풍부한 주석을 바탕으로, RESCUE는 관계 인식 정서 지원에 필요한 두 가지 핵심 역량인 관계 이해(Relational Understanding)와 관계 민감 지원(Relation-Sensitive Support)을 평가하는 여섯 가지 과제를 정의한다. 10개 LLM을 사용한 실험은 현재 모델들이 국소적 정서 단서나 개입 단서에 의존하는 과제에서는 비교적 좋은 성능을 보이지만, 관계 패턴 예측, 관점 예측, 지원 전략 예측과 같은 관계 집약적 과제에서는 어려움을 겪는다는 것을 보여준다. 이러한 발견은 대인 관계를 모델링하고 관계 민감 지원 결정을 내리는 데 있어 현재 LLM의 한계를 드러낸다.

비침습적 음성 디코딩은 신경 기록의 낮은 신호 대 잡음비로 인해 여전히 제약을 받으며, 이로 인해 음소나 개별 단어의 세밀한 재구성이 어렵다. 고수준 의미 표상이 피질 영역에 분산되어 있고 더 느린 시간 규모에서 변화한다는 신경과학적 증거에 착안하여, 우리는 의미 내용이 저수준 음향적 또는 어휘적 특징보다 비침습적 디코딩에 더 적합한 대상이 될 수 있다고 가정한다. 우리는 중간 의미 임베딩 공간을 통해 텍스트를 재구성하는 방법인 Brain2Semantics2Text를 소개한다. 우리 모델은 문장 수준 MEG 반응을 의미 매니폴드로 매핑한 다음, 예측된 임베딩을 자연어로 역변환한다. 이러한 의미 병목은 단어 수준 정렬 없이 고수준 의미의 복원을 가능하게 한다. 우리는 이 접근법의 핵심 원리, 구현, 그리고 신뢰할 수 있는 신경-의미 매핑 학습의 어려움을 완화하기 위해 사용한 전략을 설명한다. 마지막으로, 우리는 기존 비침습적 Brain2Text 방법들과 비교하여 향상된 문장 수준 결과를 보인다.

검증 가능한 보상 기반 강화학습(RLVR)은 최근 대규모 추론 모델의 성공에서 중심적인 역할을 해 왔다. 그러나 RLVR은 단일 샘플 정확도를 크게 향상시키지만, 학습 중 제한된 탐색으로 인해 모델의 내재적 추론 커버리지(pass@k)를 확장하는 데는 종종 실패한다. 이를 해결하기 위해 우리는 pass@k를 향상시키기 위해 학습 시 롤아웃의 구조적 설계를 최적화한다. 우리의 분석은 세 가지 핵심 설계 원칙을 확인한다: (1) 난이도 적응형 롤아웃은 효율성 휴리스틱으로 기능하는 것을 넘어 pass@k를 확장하는 데 중요한 역할을 할 수 있다; (2) 트리 기반 롤아웃은 정답을 발견하는 데 있어 병렬 샘플링보다 우수하다; 그리고 (3) 문장 엔트로피 기반 분기는 토큰 수준 분기의 국소화 현상을 극복하여 의미적 다양성을 최대화한다. 이러한 통찰을 바탕으로 우리는 DATPO(난이도 적응형 문장 엔트로피 기반 트리 구조 정책 최적화)를 제안한다. DATPO는 난이도 적응형 트리 탐색을 형제 다양성 어드밴티지 항과 통합하여, 학습 중 추론 커버리지를 확장하기 위해 의미적 다양성을 명시적으로 촉진한다. 수학적 추론 벤치마크에서의 실험은 DATPO가 특히 pass@k에서 베이스라인을 능가하며, 이는 뛰어난 테스트 타임 스케일링 성능으로 직결됨을 보여준다.

훈련 데이터 기여도(TDA)는 모델 행동을 형성하는 훈련 예제를 식별하는 것을 목표로 하지만, 그 개입 가치는 어떤 예제가 선택되는지와 그것들이 어떻게 수정되는지 모두에 달려 있다. 영향 함수(IF)는 무한소 재가중 하에서의 행동 변화를 추정하지만, IF로 선택된 예제들은 기존의 가중치 기반 개입 하에서 무작위 선택 대비 제한적인 이점만을 보이는 경우가 많다. 이는 영향력 있는 예제들에 개입 가치가 없는 것인지, 아니면 재가중이 그들의 행동적 지렛대를 실현하지 못하는 것인지라는 질문을 제기한다. 우리는 영향 함수 기반 응답 재작성(influence-guided response rewriting)을 도입하는데, 이는 IF를 사용하여 개입 대상을 식별하고 지시문은 고정한 채 그 응답을 행동 정렬형 또는 행동 반대형 지도 신호로 대체한다. 네 개의 오픈 웨이트 LLM 전반에 걸쳐, 우리는 인식적 유보를 주요 테스트베드로 삼아 동일한 영향 선택 예제들에 대한 재작성과 재가중을 비교한다. 응답 재작성은 더 강력하고 더 지속적이며 양방향성의 행동 변화를 만들어내는 반면, 동일한 예제에 대한 재가중은 약하고 일관되지 않은 효과를 낸다. 추가 분석은 영향 선택 예제들이 대체 선택자들보다 더 큰 재작성 지렛대를 제공하며, 변화가 목표 관련 행동에 집중된 채 남아 있음을 보여준다. 동일한 질적 대비는 안전 거부로도 확장된다. 이러한 결과는 영향 추정값이 포착하는 국소적 재가중 효과와 그것들이 식별하는 예제들의 더 광범위한 개입 지렛대를 구별하며, TDA 방법의 개입 인지 평가에 동기를 부여한다.

자율주행의 안전성을 보장하는 것은 중대한 과제이다. 시나리오 기반 테스트는 자율주행 시스템(ADS)을 검증하는 데 사용되는 체계적인 과정이지만, 시나리오 생성, 검색, 수정, ADS 실행, 결과 분석이 상호작용이 거의 없는 별도 도구들에 의해 수행되는 단편화된 모듈형 파이프라인으로 남아 있다. LLM 에이전트는 인지, 계획, 제어와 같은 ADS 하위 시스템 전반에서 가능성을 보여주었다. 그러나 ADS를 위한 전체 시나리오 기반 테스트 파이프라인을 통합된 LLM 에이전트 프레임워크로 다루는 선행 연구는 없다. 우리는 모든 시나리오 기반 테스트 단계(시나리오 생성부터 ADS 평가까지)를 확장하고 두 가지 추가 LLM 강화 단계인 ADS 향상 및 ADS 벤치마킹을 추가한 LLM 에이전트 프레임워크인 PlannerForge를 제안한다. 우리는 5가지 프롬프트 조건에서 모든 작업(생성, 선택, 수정, 모듈 라우팅, 플래너 테스트, 향상)에 걸쳐 10개의 기성 LLM으로 PlannerForge를 평가한다. 작업별 최고 점수는 0.88에서 1.00 사이이며, 오픈소스 20-35B 백엔드는 대부분의 작업에서 상용 API와 대등하다. Qwen3.6:35B와 같은 오픈소스 모델은 다섯 작업 중 세 작업에서 상용 API와 대등하다. 모듈을 엔드투엔드로 연결하면 시드 쿼리의 83% / 78%(상용 / 오픈소스)를 유지한다. 이는 자연어 생성에서 Scenario Factory 2.0(Finkeldei et al., 2025)을 능가하며(200개 중 실행 가능 193개 대 144개), 요청된 도시, 도로 및 차량 속성의 92-96%를 실현한다. 또한 순위 1 선택에서 BM25(Robertson and Zaragoza, 2009)를 능가하고(92.0% 대 67.5%), 물리적으로 유효한 편집에서 From-Words-to-Collisions(Gao et al., 2025)를 능가한다(>=94% 대 31%). N=400에서 비용 튜닝은 도메인 특화 미세 조정 없이 플래너 성공률을 50.4%에서 70.2%로 높이고 충돌을 19.0%에서 8.4%로 줄인다.

우리는 최근 텍스트-투-비디오 및 이미지-투-비디오 모델로 생성된 완전 합성 클립을 포함하는 AI 생성 비디오를 탐지하기 위한 새로운 벤치마크 DF26을 소개한다. 이 비디오들은 카메라를 직접 향한 녹화, 공식 성명, 스튜디오 인터뷰에 걸친 1인 공개 연설 시나리오를 담고 있으며, 7개의 최신 비디오 모델로 생성된 실제 271개와 합성 2,420개의 비디오로 구성된다. DF26에 대한 연구는 AI 생성 비디오를 탐지하는 인간의 성능은 물론 최첨단 딥페이크 탐지기의 성능 역시 거의 무작위 수준에 머문다는 것을 보여준다. 우리의 결과는 현재 평가 프로토콜의 한계를 부각하고 최신 생성 모델의 분포 변화에 대한 견고성을 명시적으로 측정하는 벤치마크의 필요성을 제기한다.

우리는 잡음이 있는 선형 측정으로부터 희소 이진 신호의 지지집합 복원 문제를 고려한다. 희소 가우시안 측정 행렬에 대해, 우리는 ds/p → ∞인 높은 SNR 영역에서 최대가능도 복원을 위한 최소 표본 크기에 대한 충분 조건을 규명한다. 여기서 p는 신호 차원, s는 신호의 비영 성분 수, d는 측정의 각 행당 비영 성분의 기대 개수를 나타낸다. 알려진 하한과 결합하면, 이는 s log(p/s) / log(ds/p) 차수의 정보이론적 임계값을 제공하며, 측정 희소성의 대가를 명시적으로 드러낸다. 특히, 우리는 측정 희소성으로 인한 표본 복잡도 손실은 로그적이고 계산적 이득은 거의 선형인 영역을 강조한다. 둘째, 우리는 원래 조밀한 가우시안 설계를 희소화한 후의 복원을 연구한다. 관측값은 조밀한 설계로부터 생성되는 반면, 추정은 독립적으로 희소화된 설계와 재조정된 응답을 사용한다. 비례 영역 s=αp, d=ψp에서, 우리는 모든 고정된 목표 오류 수준 δ와 모든 여유 ε>0에 대해, 임의로 작은 ψ에 대해 p/ψ^2 차수의 표본 크기가 지지집합 복원에 충분함을 증명한다.

기존 편향 감사 방법은 일반적으로 모델 출력에 의존하여 값비싼 벤치마크나 판정 모델을 필요로 하며, 생성된 텍스트에는 결코 나타나지 않는 내부 변화를 놓칠 가능성이 있다. 우리는 관련 모델 변형, 예를 들어 미세조정 전후에 걸쳐 은닉 상태 표현의 편향을 감사하는 참조 기반 방법을 제안한다. 미세조정은 표현 기하학을 재구성하므로 절대 은닉 상태는 직접 비교할 수 없다. 따라서 우리는 각 문장을 고정된 앵커 문장 집합에 대한 유사도로 인코딩하여 공유 비교 공간에서 상대 표현을 산출한다. 그곳에서 우리는 대상 집단이 긍정 및 부정 속성과의 연관성에서 어떻게 이동하는지를 측정하며, 이 양을 표현 편향 이동 ΔB라고 부른다. 세 모델 계열과 WildGuardMix, DecodingTrust, ToxiGen 벤치마크 전반에서 ΔB는 우리가 테스트한 18개 설정 중 15개에서 출력 수준 편향 변화와 상관관계를 보였고, 전체 미세조정에서는 |r| = 0.84 (p < 0.001)에 도달했으며 매개변수 효율적 적응에서는 더 모델 의존적이 되었다. ΔB에 임계값을 적용하면 편향이 증가한 체크포인트를 ROC AUC 0.65에서 0.99 사이로 탐지하며, WildGuardMix와 DecodingTrust에서는 세 계열 모두에 대해 SEAT 기반 기준선보다 이를 더 잘 분리한다. ΔB는 또한 앵커 집합, 속성 집합, 대상 템플릿의 변경에도 안정적이다. 우리의 방법은 과제 특화 평가 데이터를 필요로 하지 않으며 약 3분 만에 모델을 감사하여, 여기서 고려한 출력 수준 벤치마크보다 3–50배 적은 연산을 사용한다. 우리는 이를 출력 기반 감사를 대체하는 것이 아니라 보완하는 것으로 본다.