일간 논문

배치 가능한 조작 정책을 학습하는 데 있어 고충실도와 확장성을 모두 갖춘 데이터의 부족이 병목 현상이 되고 있습니다. 실제 로봇 원격 조작은 정확하지만 확장 비용이 높은 반면, 로봇 없는 UMI 캡처는 쉽게 확장 가능하며, 현재 관행은 그 결과 데이터를 주로 사전 학습에 사용하고 사후 학습에 소량의 실제 로봇 '앵커'를 추가하는 것입니다. 우리는 실제 로봇 비율을 줄이는 대신 로봇 없는 UMI 데이터의 충실도를 높이는 것이 그 앵커를 제거할 수 있는지 묻습니다. 우리는 궤적 정확도, 그리퍼 간 상대 자세, 동기화, 시야를 위해 공동 설계된 휴대용 UMI 데이터 생성 시스템인 HiFi-UMI를 제시합니다: 머리 장착형 오프라인 스테레오-관성 SLAM, 재구성된 것이 아닌 네이티브 상대 자세, 공유 마이크로초 GPIO 트리거, 각 손당 약 200도를 커버하는 두 개의 광각 카메라를 사용합니다. 외부 추적 인프라 없이 작업 공간 내 엔드 이펙터 정확도 3mm를 달성합니다. 이 코퍼스를 사용하여 우리는 제로 로봇 사후 학습을 입증합니다: HiFi-UMI 데모로만 사후 학습된 정책이 실제 로봇에 직접 배포되어 비전-언어-행동 및 세계-행동-모델 계열에 걸친 세 가지 백본에서 인도메인 원격 조작과 일치하는 성능을 보이며, StarVLA-QwenPI, OpenPI-pi_0.5, LingBot-VA에서 성공률 차이가 각각 -2.5, +3.1, -0.6 퍼센트 포인트입니다. 가장 강력한 정책은 정밀 삽입 작업에서 85%의 성공률을 달성하는데, 원격 조작 기준선은 평가 장면에서 수집되었고 HiFi-UMI 궤적은 하나도 포함되지 않았습니다. 동일한 코퍼스의 4,000시간 데이터로 사전 학습하면 보지 못한 열 가지 작업에서 행동 오류가 41% 감소하고, StarVLA-QwenPI에서는 실제 로봇 성공률이 추가로 18.1 퍼센트 포인트 향상됩니다. 우리는 로봇 학습 커뮤니티를 위한 대규모 고충실도 리소스로서 마이크로초 동기화된 초광각 시야 데모 2,000시간 분량의 HiFi-UMI-2K를 오픈소스로 공개합니다. 각 데모는 자동으로 재구성되고 시뮬레이션 재생을 통해 검증됩니다.

관련성은 문서나 발췌문에 유용한 증거가 포함되어 있는지에 대한 쿼리 의존적 추정치이다. 기존 검색 에이전트는 관련성을 사용하여 상위 k개 콘텐츠를 선택하지만, 문서 관련성만으로는 복잡한 질문에 필요한 증거를 위치 파악, 구성, 또는 검증할 수 없다. 직접 말뭉치 상호작용(Direct Corpus Interaction, DCI)은 grep 방식 탐색을 통해 이러한 세밀한 연산을 가능하게 하지만, 관련성에 무관한 검색은 유용한 단서를 늦게 노출시켜 수렴을 지연시킬 수 있다. 최근 연구는 관련성을 활용하여 말뭉치를 상호작용을 위한 작업 공간으로 좁힌다. 그러나 상호작용이 시작된 후에도 관련성은 여전히 어떤 문서를 grep이 먼저 검색할지 직접 안내하지 않으며, 광범위한 매치 집합에서 정보성 발췌문을 구별하여 LLM이 이를 먼저 볼 수 있도록 하지 않는다. 본 논문에서는 관련성 인식 RipGrep 검색 에이전트(Relevance-Aware RipGrep Search Agent, RARG)를 소개한다. RARG는 관련성을 말뭉치 상호작용을 위한 실행 사전 정보로 전환한다. RARG는 조대-세밀 관련성 안내를 제공한다. 즉, 순차적 ripgrep 탐색을 위해 문서에 순서를 부여하여 전역적으로 관련성 있는 단서를 더 일찍 노출시키고, 쿼리와 관련된 단락으로 유망한 진입점을 초기화하며, grep 매치를 재순위화하여 문서 수준 순위화가 가릴 수 있는 정보성 발췌문을 부각시킨다. 까다로운 브라우징 질문 응답과 추론 집약적 검색 전반에서 RARG는 검색 기반 및 직접 상호작용 에이전트에 비해 정확도-효율성 경계선을 개선한다. 이러한 결과는 관련성 인식 상호작용이 더 빠르고 신뢰할 수 있는 검색 수렴을 가능하게 함을 보여준다.

코딩 에이전트는 진화하는 저장소에서 반복적으로 검색, 탐색 및 컨텍스트를 유지하지만, 단절된 인덱스, 언어 서버 및 작업별 로컬 히스토리로 인해 반복적인 발견과 생애주기 비용의 모호함이 발생한다. CodeNib는 저장소 커밋별로 재사용 가능한 어휘, 밀집 및 구조적 뷰를 구축하고, 출력을 저장소 상대 소스 범위에 매핑하며, 편집 과정에서 선택된 뷰를 유지하고, 하나의 런타임을 통해 순위 검색, 심볼 탐색 및 제한된 컨텍스트를 제공한다. 100개의 스냅샷에 걸쳐 저장소-컨텍스트 생애주기 전반에 걸친 품질-비용 경계를 매핑한다. 출력이 독립적인 재구축과 일치할 때, 그래프 및 벡터 업데이트는 중앙값 기준 각각 8.7배와 25.4배 더 빠르다. 정규화된 라이브 서버 위치와 일치하는 정적 탐색 하위 집합(1,000개 요청 중 63%)에서 요청당 라이브/정적 지연 시간 비율의 중앙값은 4.7배이다. 다섯 가지 모델에 걸쳐 선택된 컨텍스트 정책은 짝을 이룬 grep/read보다 50~87% 적은 궤적 토큰으로 지역화를 유지한다. 종합적으로, 이러한 결과는 명시적이고 작업별 유효성 경계를 갖춘 다중 뷰 저장소-컨텍스트 제공을 뒷받침한다.

래스터 이미지에서 편집 가능한 디자인 파일을 복원하는 것은 현대 디자인 워크플로에서 흔하면서도 비용이 많이 드는 병목 현상이지만, 편집 가능성은 타이포그래피, 벡터 지오메트리, 색상, 그룹화 및 레이어 순서와 같은 다중 모달 속성을 복원하는 데 달려 있기 때문에 여전히 어려운 과제입니다. 본 논문에서는 ReDesign을 제안합니다. 이는 에이전트 기반 프레임워크로서, 여러 모달리티에 걸친 특화 도구를 선택하고 조합하여 편집 가능한 레이어 계층 구조를 성장시킵니다. 불완전한 도구 출력에도 불구하고 이러한 긴 의사 결정 프로세스를 신뢰할 수 있도록 유지하기 위해, 각 확장 시점에서 정교한 검증을 도입하여 국지적 수용, 가지치기 또는 재시도 피드백을 제공함으로써 오류 축적을 방지하고 대규모 재실행을 피합니다. 규모에 맞는 편집 가능성을 평가하기 위해, 909개의 원본 Figma 파일과 14,796개의 제어된 편집 명령어로 구성된 Figma 편집 재현 벤치마크를 도입하였으며, 이 명령어들은 재구성된 출력물에 대한 편집을 재현합니다. 이 벤치마크와 표준 재구성 메트릭 전반에서 ReDesign은 강력한 시각적 충실도를 달성하면서도 레이아웃, 색상 및 텍스트 편집 전반에서 가장 높은 편집 가능성을 제공하며, 계층적 분해 기준선 및 직렬 도구 사용 파이프라인보다 우수한 성능을 보입니다.

온-정책 증류(On-policy distillation, OPD)는 학생 자신의 궤적 내에서 토큰 수준의 지도를 제공하지만, 접두사 실패(prefix failure)를 겪는다. 학생이 잘못된 추론 방향으로 빠지면, 이후 모든 생성이 이 편차 위에 구축되어 잘못된 방향의 연속 생성(misdirected continuations)을 만들어내고, 이는 신뢰할 수 없는 지도를 유발하며 계산을 낭비한다. 우리는 실패한 접두사에서 교사-학생 간 연속성 비대칭(teacher-student continuation asymmetry)을 식별했는데, 이는 교사가 방향을 전환하려는 반면 학생은 원래 방향을 계속 유지하는 특성이다. 우리는 이를 릴레이 온-정책 증류(Relay-OPD, Relay On-Policy Distillation)에서 레이블 없는 핸드오프 트리거(label-free handoff trigger)로 변환한다. 훈련 중 Relay-OPD는 감지된 트리거 지점에서 교사가 잠시 인계받아 교사 구간(teacher leg)을 생성함으로써 릴레이 궤적(relay trajectories)을 구성하며, 이후 학생이 다시 생성하고 그 결과 궤적에 대해 최적화된다. 제한된 릴레이 예산(relay budget)은 중요한 초기 위치에 개입(intervention)을 집중시키면서 학생 정책에서의 이탈을 최소화한다. Qwen3-4B-Instruct-2507 교사와 Qwen3-0.6B/1.7B-Non-Thinking 학생을 사용하여 8가지 수학 추론 벤치마크를 실험한 결과, Relay-OPD는 모든 벤치마크에서 최고 또는 두 번째로 높은 성능을 달성했으며, 1.7B 모델의 경우 표준 OPD 대비 평균 +5.73%, 가장 강력한 기준선인 FastOPD 대비 +1.49% 향상되었고, 0.6B 모델에서도 일관된 성능 향상을 보였다. 훈련 궤적 길이는 50% 이상 감소했다.

장기 기억 시스템은 사용자의 발화를 외부 저장소에 저장하고, 관련 질의가 도착하면 이를 검색한다. 이 인터페이스는 거의 명시적으로 언급되지 않을 정도로 자연스러운 가정에 기반한다: 필요한 기억은 그것을 필요로 하는 질의와 유사할 것이라는 가정이다. 세계 지식은 이 가정을 깨뜨린다. 견과류 알레르기가 있다면 마카롱 요청에 대한 답변이 아몬드 가루 성분을 통해 바뀌어야 하지만, 두 텍스트 사이에는 검색기가 인식할 수 있는 단서가 전혀 없다. 우리는 이러한 실패 모드를 '암묵적 연관성 사각지대'라고 명명하고, 열 개의 생활 영역에 걸쳐 125개 과제로 구성된 전문가 검증 벤치마크인 InMind를 소개한다. 이 중 113개 과제는 인용 가능한 공개 출처에 기반한다. 이 벤치마크의 짝지어진 대조군은 기존 평가에서 혼동되던 세 가지 설명을 분리한다: 사실이 저장되지 않은 경우, 모델이 연결 지식을 결여한 경우, 또는 사실이 저장되었으나 표면화되지 않은 경우. 결론은 명확하다. 결정적 기억이 문맥에 주어졌을 때 백본은 간접 질의의 84.0%를 답한다. 동일한 기억을 검색해야 할 때, 여섯 가지 벡터, 그래프 및 에이전트 메모리 시스템은 최대 14.4%에 도달하며, 이는 이들 시스템이 요청 시 동일한 사실을 최대 100% 회상함에도 불구하고 그렇다. 차원이 8배 더 큰 임베딩은 모든 시스템에서 답변-블라인드 대상 회상을 향상시키지만, 격차는 본질적으로 그대로 유지된다. 질의 도착 전에 기억을 가시적으로 유지하는 최소 진단 프로브는 격차의 대부분을 회복하며, 실패의 위치를 질의-조건화 인터페이스 자체로 좁히고, 어떤 사실을 가시적으로 유지할지 결정하는 라우팅이 InMind가 평가하도록 설계된 미해결 문제임을 지적한다.

표준 시각-언어 모델(VLM)은 모라베크의 역설(Moravec's paradox)을 겪는다. 즉 복잡한 오프라인 시각 추론에는 뛰어나지만 단순한 스트리밍 지각 작업에는 어려움을 겪고 비효율적으로 처리한다. 우리는 실시간 다중 모달 이해와 상호작용을 위한 효율적인 코덱 기반 스트리밍 기초 모델인 Mage-VL을 제시한다. 핵심적으로, 우리의 맞춤형 토크나이저인 Mage-ViT는 균일한 프레임 샘플링을 대체하여 희소 앵커(I) 프레임과 예측(P) 프레임 간의 움직임 벡터와 잔차 에너지를 사용하여 동적이고 엔트로피가 높은 영역을 선택적으로 인코딩한다. 16x16 패치 수준에서 작동하여 시공간적 맥락을 유지하면서 시각 토큰 소비를 75% 이상 줄인다. 약 5억 6천만 개의 레이블이 없는 이미지와 1억 개의 레이블이 없는 비디오 프레임으로 처음부터 훈련된 Mage-ViT는 수십억 개의 이미지-텍스트 쌍으로 훈련된 플래그십 인코더와 동등하거나 더 나은 성능을 보인다. 우리는 다중 모달 캡셔닝을 위한 프롬프트-코드 공동 최적화와 훈련 레시피를 안내하는 AI 기반 성능 진단을 포함하는 AI4AI 데이터 파이프라인을 구축한다. 또한, 생체 모방 이중 시스템 아키텍처(경량 System 1 이벤트 게이트와 인과적 System 2 디코더)를 통해 Mage-VL은 능동적인 스트리밍 지각을 가능하게 한다. 광범위한 평가 결과, Mage-VL-4B는 정적 작업에서 Qwen3-VL-4B와 동등한 성능을 보이면서 비디오 이해와 2D/3D 공간 추론에서 강력한 향상을 달성하고 최대 3.5배의 벽시계 추론 속도 향상을 보여주며, 15B Phi-4-reasoning-vision 베이스라인을 전반적으로 능가한다. 모델 산출물 외에도, 사전 훈련 데이터 효율성, 가변 해상도 스케일링, 코덱 시스템 가속, VideoQA SFT 중복성, 움직임-공간 시너지, AI4AI 데이터 파이프라인, 다중 모달 RL을 위한 Zero-Vision SFT를 포괄하는 7가지 주요 실증적 발견을 제시한다.

우리는 실시간 카메라 제어가 가능한 세계 탐험을 위한 범용 비디오 월드 모델인 Wonder를 제시한다. Wonder는 이미지 또는 조건부 비디오가 주어지면 사용자가 카메라를 움직여 대화형으로 탐색하고, 보지 못한 영역을 발견하며, 이전에 관찰된 영역을 실시간으로 그리고 장기적 시간 범위에 걸쳐 재방문할 수 있는 플레이 가능한 세계를 구축한다. 이러한 능력을 달성하려면 제어 방법, 메모리 메커니즘 및 훈련 전략의 시스템 수준 공동 설계가 필요하다. 우리는 렌더링을 통해 공간적으로 정렬된 움직임과 방향 신호를 제공하는 밀집 좌표 필드를 이용한 새로운 카메라 조건화 방식을 도입하여, 모델이 카메라 움직임을 시각적 증거로 직접 해석할 수 있도록 한다. 증가하는 생성 컨텍스트에 걸쳐 빠르고 정확한 메모리 검색을 지원하기 위해, 우리는 효율적인 희소 어텐션 기반 메모리 메커니즘을 제안한다. 이를 통해 모델은 실제 컨텍스트 길이와 관계없이 추론 시점에 소수의 관련 컨텍스트 토큰 집합에 선택적으로 주목할 수 있다. 또한, 우리는 자기 강제 방식 증류 파이프라인을 개선하기 위한 여러 기술을 개발하여, 학생 모델이 제어 신호를 존중하는 능력을 향상시키고, 교사 모델의 다양한 생성 모드와 장기 기억을 유지한다. 이러한 구성 요소들은 함께 작동하여 Wonder가 긴 롤아웃 동안 일관된 기하학, 외관 및 역학을 유지하면서 16FPS로 다양하고 분 단위의 비디오를 합성할 수 있게 한다. 이미지-비디오 생성 외에도, Wonder는 자연스럽게 비디오 조건부 생성을 지원하여 기존의 동적 장면을 실시간으로 재촬영할 수 있게 한다.

기반 모델(Foundation Model) 시대에 모델의 성능은 프롬프트에 달려 있다. 이러한 이유로 프롬프트 엔지니어링은 언어 모델 성능을 향상시키기 위한 필수 기술이 되었다. 현재 비디오 모델이 시각적 작업(예: 시각적 추론)을 위한 기반 모델로 자리 잡아가고 있으므로, 본 연구에서는 시각적 프롬프트 엔지니어링(Visual Prompt Engineering), 즉 작업 이미지를 자동으로 수정하여 모델 성능을 개선하는 방법이 비디오 모델에도 유사하게 적용될 수 있는지 탐구한다. 예를 들어, 시각적 물리 추론 작업("일련의 장애물을 통과한 후 공은 어디에 착지하는가?")에서 추상적인 스케치 같은 장면을 이미지 편집 모델에 간단히 호출하여 포토리얼리스틱 버전으로 변환할 수 있다. 본 연구는 시각적 프롬프트 엔지니어링(VIPE)이 작업 전반에 걸쳐 비디오 추론 성능을 향상시킨다는 것을 발견했다. 실제로 비디오 모델의 경우, 시각적 프롬프트 엔지니어링은 기존의 텍스트 기반 프롬프트 엔지니어링이나 테스트 시간 스케일링(Test-Time Scaling)보다 더 효과적일 수 있다. 결국, 텍스트 기반 프롬프트 엔지니어링이 언어 모델 성능을 체계적으로 개선하는 것처럼, 시각적 프롬프트 엔지니어링은 비디오 모델의 시각적 추론 성능을 이끌어내기 위한 간단하고 계산 효율적인 접근법으로 활용될 수 있다. 관련 예시 비디오는 프로젝트 페이지(https://visual-prompt-engineering.github.io/)에서 확인할 수 있다.

우리는 텍스트 안전 벤치마크에서 약 7배 더 큰 모델들과 동등하거나 능가하는 성능을 보이며, 멀티모달 안전 분류 분야에서 새로운 최고 수준을 달성한 3B 파라미터 규모의 정책 적응형 멀티모달 안전 분류기 Shieldstral을 소개합니다. Shieldstral은 콘텐츠 조정을 이진 질문-응답 과제로 정식화합니다. 이 간단한 정식화는 다양한 조정 작업을 단일 예/아니오 문제로 통합하여, 상이한 분류 체계를 가진 이질적인 안전 데이터셋을 하나의 훈련 프레임워크 아래 통합할 수 있게 합니다. 우리는 약 5410만 개의 샘플에 대한 선별 및 생성 과정을 포함한 데이터 구축 방안과, 정책 적응성을 평가하기 위한 세분화된 평가 세트를 제시합니다. 이러한 요소들을 통해 작은 규모의 적응형 모델이 훨씬 더 큰 모델들과 동등하거나 능가하는 성능을 발휘할 수 있습니다.

본 논문에서는 다중 모달 대규모 언어 모델(MLLM)의 원자적 시각 인지 능력을 평가하기 위해 특별히 설계된 벤치마크인 PerceptionBench를 소개한다. 기존 벤치마크는 종종 인지를 고립적으로 평가하지 못한다. 즉, 전체론적 평가는 인지 오류를 추론이나 도메인 지식의 실패와 혼동하며, 애플리케이션 중심 벤치마크는 휴리스틱 설계에 의해 형성된 좁고 단편적인 영역만을 다룬다. 이러한 한계를 해결하기 위해 PerceptionBench는 상향식 접근 방식을 채택한다. 즉, 42개의 기존 벤치마크에 걸쳐 선도적 MLLM 응답에서 가장 초기에 발생하는 실패 지점을 진단함으로써 오류 분류 체계를 구축하고, 이 체계의 인지 분기는 10가지 원자적 인지 능력을 정의한다. 이 분류 체계를 바탕으로, 각 능력을 고립적으로 평가하는 짧고 명확한 답변을 가진 3,000개의 검증된 질문을 구축하였으며, 난이도는 추론이나 지식이 아닌 인지에서 비롯된다. 16개의 선도적 MLLM에 대한 벤치마크 결과는 원자적 인지가 여전히 해결되지 않은 문제임을 보여준다. 어떤 모델도 60% 정확도에 도달하지 못했으며, 인지 관련 환각이 평균적으로 가장 약한 능력이고, 유사한 전체 점수가 급격히 다른 능력 프로파일을 숨기고 있다. 이에 따라 PerceptionBench는 MLLM의 시각 인지 경계를 측정하고 진단하기 위한 능력 수준의 표준을 제공한다.

다중 모드 자동 팩트체킹(MAFC)은 외부 증거를 검색하고 추론하여 주장을 검증한다. 그러나 기존의 대부분의 정적 벤치마크는 오염 위험에 노출되어 있다. 즉, 주로 LLM의 내부 지식만으로 외부 증거 없이 검증 가능한 오래된 주장들로 구성되어 있어, 성능 추정치가 부풀려질 수 있으며 최신 정보를 필요로 하는 새로운 주장에 대한 실제 능력을 반영하지 못할 수 있다. 이를 해결하기 위해, 최근 등장한 동적 벤치마크는 LLM의 지식 마감일 이후에 게시된 주장들을 수집하여 오염되지 않았다고 가정한다. 본 연구는 최첨단(SOTA) 정적 벤치마크인 AVeriTeC와 새로 구축한 동적 벤치마크인 ClaimReview2025Q4에서 오염 위험을 실증적으로 조사하고, 이것이 MAFC 평가에 미치는 영향을 분석함으로써 이러한 가정을 재검토한다. 실험을 통해 16가지 결과를 도출하였으며, 다음 세 가지 주요 결과를 강조한다: (1) 동적 평가는 오염 위험을 줄이지만 완전히 제거하지는 않으며, 마감일 이후 주장의 17.09%~29.30%가 여전히 잠재적으로 오염될 수 있다. (2) 새로 게시된 많은 주장들은 마감일 이전에 공개된 여러 공개 지식을 직접 활용하거나 종합하여 검증할 수 있다. (3) 오염은 MAFC 성능에 통계적으로 유의미한 부풀림을 유발하여 Macro-F1을 최대 11.34포인트 증가시키고 시스템 순위를 왜곡할 수 있다. 이러한 발견을 바탕으로, 엄격한 오염 통제 환경에서 최첨단 LLM을 재평가한다. 본 연구는 신뢰할 수 있는 MAFC 평가를 위한 실용적 지침을 제공한다.

Any-to-any 모델은 단일 네트워크 내에서 다른 모든 조합으로부터 모든 모달리티를 예측하는 방식으로, 멀티모달 비전 및 비전-언어 모델에서 사용되며 생태학, 천문학과 같은 과학 분야에서도 점점 더 활용되고 있다. 기존의 Any-to-any 모델은 일반적으로 인코더-디코더 또는 확산 아키텍처를 사용하여 처음부터 학습되며, 이는 성능에 영향을 미치고 강력한 사전 학습된 디코더 전용 모델을 사전 지식으로 활용하지 못하게 한다. 본 연구에서는 모든 모달리티를 대칭적으로 처리하고, 모달리티별 헤드, 손실 함수 또는 작업 파이프라인 없이 임의의 모달리티를 입력 및 출력으로 지원하는 디코더 전용 Any-to-any 멀티모델링을 조사한다. 모든 모달리티가 동일 모델의 입력이자 출력이기 때문에, 결과 모델인 Modus는 중간 모달리티를 통한 연쇄 생성이나 다른 생성된 모달리티로 자체 출력을 평가하는 교차 모달 자체 검증 등 다양한 응용을 지원할 수 있다. Modus는 바로 사용 가능한 강력한 성능을 보여주며, 단일 모델로 다양한 벤치마크에서 전문가 및 멀티태스크 기준선과 경쟁력을 갖춘다. 모든 자료는 https://modus-multimodal.epfl.ch/에서 오픈소스로 공개된다.

비디오 확산 또는 플로우 모델에서의 생성은 느리고 반복적인 샘플링 과정으로 인해 계산 비용이 높다. 현재 최첨단(SOTA) 가속 방법들은 변분 점수 증류(VSD)와 적대적 손실에 크게 의존하여 확산 모델을 소수 단계 생성기로 증류한다. 고품질 비디오 생성을 달성하지만, 이러한 훈련 손실은 최적화하기 매우 어렵고 모드 붕괴를 겪어 비디오 다양성을 잃고 움직임이 부족해지는 단점이 있다. 본 논문에서는 확산 및 플로우 매칭 모델의 빠른 추론을 위한 단순화되고 확장 가능한 궤적 기반 증류 방법인 병렬 디코딩 증류(PDD)를 소개한다. 우리의 아키텍처와 훈련 절차는 사전 훈련된 모델과 호환되며 다양한 함수 평가 횟수(NFE)로 샘플링을 지원한다. PDD는 네트워크 평가당 여러 디노이징 단계를 예측하여 생성을 가속화한다. 개념적으로, JVP나 유한 차분 근사를 사용하여 도함수를 회귀하지 않고 평균 속도의 표현을 학습한다. 우리 방법은 LTX-2.3 텍스트-투-비디오/오디오, Wan 14B 텍스트-투-비디오, Qwen-Image 텍스트-투-이미지에서 4-8 NFE로 최첨단 성능을 달성한다. 또한 PDD는 생성된 비디오 다양성에서 상당한 개선을 보여준다.

코드 정확성을 위한 강화학습(RL)은 이제 확립되었다: 모델이 프로그램을 생성하고, 이를 숨겨진 테스트 케이스에 대해 실행시킨 후 통과하는 해결책에 보상을 부여하는 방식이다. 이를 코드 최적화로 확장하는 것은 간단해 보인다: 실행 시간을 보상에 추가하기만 하면 된다. 그러나 실제로 시간이 보상을 결정하게 되면, 측정 노이즈, 보상 희소성, 또는 GRPO 불안정성과 같은 작은 문제들이 신호를 압도하여 RL을 실패하게 만든다: 생성된 해결책은 거의 더 빠르지 않으며, 더 많은 해결책이 실패할 수 있다. 우리는 실행 시간을 학습 가능하게 만들기 위해 세 단계를 거친다: (1) 코드가 어떻게 테스트되는지 - 대규모 최적화 테스트와 보정된 샌드박스를 갖춘 DMC-Optim을 구축; (2) 속도가 어떻게 보상으로 변환되는지 - RL 환경에서 정확성과 속도를 결합하고 오프라인 시뮬레이터를 사용하여 가장 유망한 구성을 예측; (3) 모델이 그 보상으로부터 어떻게 학습하는지 - GRPO와 평가를 더 희소하고 노이즈가 많은 시간 기반 실행 환경에 적응. DMC-Optim에서, 가장 강력한 최적화 인식 구성은 Qwen 2.5 7B에서 엄격한 상위 50% pass@1을 18.0%에서 31.3%로, CWM 32B에서 30.7%에서 50.4%로 향상시킨다. 이러한 이득은 상위 30%와 같은 더 엄격한 백분위수에서 더욱 증가하며, CWM 32B의 경우 125%의 상대적 개선을 보이면서 순수 정확성 점수는 유지한다. 시간 샌드박스가 저하되었을 때, 강건한 최적화 RL은 평가 기준에 따라 표준 RLVR 대비 100%에서 200%의 개선을 달성한다. LCB에서 CWM 32B는 표준 RLVR 대비 중간 표본 속도 비교에서 최대 83%의 승률을 기록한다. 문제당 가장 빠른 올바른 인간 제출과 비교할 때, 복잡성 클래스 개선에서 인간 비율의 약 절반에 도달한다(14% 대 28%).

최근 등장한 옴니모달 대규모 언어 모델(OmniLLM)은 텍스트, 오디오, 비디오의 통합 이해를 가능하게 하지만, 오디오-비디오 토큰 시퀀스가 길어짐에 따라 상당한 메모리 및 추론 비용이 발생한다. 기존 압축 방법은 주로 고정된 예산 하에서 중요한 토큰을 선택하는 데 초점을 맞추고 있으며, 선행하는 예산 할당 문제는 충분히 탐구되지 않았다. 우리는 쿼리와 오디오/비디오 간의 직접적인 유사도가 모달 간 예산 할당에 신뢰할 수 없으며, 균일한 모달 내 예산은 중복 콘텐츠를 유지하면서 핵심 증거를 놓칠 수 있음을 보여준다. 이러한 한계를 해결하기 위해, 우리는 훈련이 필요 없는 스킬 기반 프레임워크인 OmniDelta를 제안한다. 이는 의도 인식 모달 간 할당과 콘텐츠 인식 모달 내 할당을 결합한다. OmniDelta는 먼저 오디오 및 비디오 스킬 풀을 구성하여 고정된 유지 토큰 예산을 쿼리 수요에 따라 이동시키고, 그 다음 지역적 복잡성과 시간적 중복성을 사용하여 오디오 세그먼트와 비디오 프레임에 걸쳐 모달 예산을 재할당한다. 결과적으로 얻어진 지역 예산은 기존 가지치기 전략과 결합될 수 있으며, 예산이 사용되는 위치를 변경하면서 전체 유지 토큰 비율을 유지한다. 두 개의 Qwen2.5-Omni 모델을 사용한 네 가지 오디오-비디오 벤치마크 실험에서 OmniDelta는 가지치기 비율 전반에 걸쳐 새로운 정확도-효율성 파레토 경계를 설정함을 보여준다. Qwen2.5-Omni-7B에서 25% 토큰 유지 시, OmniDelta는 GPU 메모리를 22.0% 감소시키고 전체 토큰 추론 대비 1.64배의 종단 간 속도 향상을 달성한다.

70~500M 매개변수 범위의 소형 언어 모델(SLM)을 강화 학습을 통해 정렬하는 것은 종종 불안정한 것으로 간주되지만, 근본적인 실패 메커니즘에 대한 체계적인 연구는 아직 이루어지지 않았다. 최신 연구(SOTA)에서는 PPO(Proximal Policy Optimization)를 사용하여 15개의 (모델, 말뭉치) 구성에 대해 훈련을 수행했다. 실험에는 TinyStories, CNN/DailyMail, Wikitext-103 말뭉치를 대상으로 한 Pythia-70M, 160M, 410M과 SmolLM2-135M, 360M이 포함되었다. 소형 언어 모델에서 세 가지 재현 가능한 실패 모드가 확인되었다: 표준 PEFT/TRL 파이프라인에서의 무음 LoRA 매개변수 동결, bfloat16 사용 시 중요도 비율의 수치 오버플로우, 그리고 보상 모델 오류로 인한 치명적인 정책 붕괴. 이러한 문제는 병합-재초기화 어댑터 기법, PPO 업데이트 시 float32 정밀도 사용, 그리고 보상 백색화, 중요도 비율 보호, 가중치 롤백으로 구성된 3계층 안전 메커니즘을 통해 해결되었다. 본 논문에서는 용량-헤드룸 가설을 제안하는데, 이는 SLM 규모에서의 PPO 성능이 모델 매개변수 수보다는 유창한 지도 모델(PPL<20)과 식별력 있는 보상 신호에 의존한다는 주장이다. 제안된 시스템은 모든 실험에서 안정적으로 수렴하였으며, 유창한 사전 정보와 정보성 있는 보상 신호를 갖춘 구성에서 SFT 기준선 대비 선호 승률을 향상시켰다. 또한, 지시 조정 기준선보다 우수한 성능을 보이면서도 훨씬 적은 훈련 데이터를 필요로 했다. 모든 체크포인트, 선호 데이터 세트 및 훈련 스크립트는 공개적으로 배포되었다^§.

압축된 단문 텍스트 생성기는 두 가지 서로 다른 지점에서 실패할 수 있다. 즉, 생성이 시작되기 전에 코덱이 정보를 폐기하거나, 잠재 생성기가 약한 코드를 생성할 수 있다. 이러한 실패 모드를 구분하지 않으면 연구자들은 잘못된 구성 요소를 개선하는 데 계산 자원을 낭비할 수 있다. 본 연구는 계층적 VQ-VAE-2 코덱과 마스크된 이산 확산 생성기(MDLM)로 구성된 통제된 64-to-16 TinyStories 사례 연구에서 이 문제를 분석한다. 우리는 단계적 검증 프로토콜을 사용하여 코덱 재구성 충실도, 잠재 생성 품질 및 보조 잠재 진단을 하나의 공유된 외부 GPT-2 평가자 아래에서 분리하고, 기하학 연구를 위한 보완적 의미론적 지표를 함께 보고한다. 테스트된 구성에서 코덱 재구성만으로도 중간 외부 혼란도(perplexity)가 15.17에서 27.36(+80.4%)으로, p95는 25.10에서 98.91(+294.1%)로 상승하여, 잠재 생성이 시작되기 전에 지배적인 품질 손실이 발생함을 보여준다. 동일한 평가자 아래에서 코드 공간 MDLM은 토큰 공간 확산보다 실질적으로 더 강력하여 평균, 중간값 및 p95를 각각 32.9%, 30.9% 및 36.6% 감소시킨다. 기하학 인식 정규화는 국소 잠재 대리 지표를 개선하지만, 사용 가능한 실행에서 디코딩된 텍스트 지표는 개선하지 못한다. 기여는 알고리즘보다 방법론적이다. 즉, 본 논문은 하나의 구체적인 파이프라인에 대해 재사용 가능한 단계적 진단법을 제시하고, 이 설정에서 잠재 잡음 제거보다 코덱 충실도가 실제 품질 상한을 결정함을 보여준다.

공동 임베딩 예측 아키텍처(JEPA)는 픽셀을 재구성하는 대신 표현 공간에서 예측을 통해 세계 모델을 학습하므로, 오프라인 시연 로그로부터의 잠재 모델 예측 제어를 위한 자연스러운 백본이 된다. JEPA 스타일 훈련은 단기 잠재 예측을 최적화하는 반면, 계획은 목표 진행에 따른 상상된 미래의 다단계 순위 매기기를 필요로 한다. 기존의 JEPA 기반 계획기는 일반적으로 이러한 순위 매기기를 임베딩 기하학, 전형적으로는 표현 학습의 부산물로서 발생하는 잠재 유클리드 거리로부터 상속받으며, 이는 로그에서 추출된 진행 비용이 아니다. 우리는 시간 거리 JEPA(TD-JEPA)를 제안한다. 이는 LeWM 인코더-예측기 백본을 유지하고, 보상 없는 궤적으로부터 방향성 시간 비용을 추출한다. 동일 궤적 단계 순서는 양성 목표를 제공하고, 교차 궤적 쌍은 휴리스틱 음성으로 작용하며, 롤아웃 일관성 항은 계획 수평과 일치시킨다. 추출된 학습 신호는 두 가지 역할을 수행한다. 진행이 위상적인 경우 배포된 계획 비용으로, 그리고 접촉 기하학이 지배적인 경우 유클리드 계획을 개선하는 표현 신호로 기능한다. 고정 평가에서 추출된 비용을 배포하면 Two-Room 성공률이 LeWM의 97.4% 대비 100.0%로 상승하며, 동일한 시간 훈련 체크포인트에서 공유 유클리드 계획을 사용하면 OGB-Cube에서 LeWM 대비 14.2점 향상되고 Push-T도 개선된다. 고정 평가에서 LeWM 및 동시대의 RC-aux 기준과 비교했을 때, TD-JEPA는 모든 환경에서 두 방법과 동등하거나 능가한다. 소거 실험은 방향성 헤드, 교차 궤적 음성, 롤아웃 일관성이 각각 기여함을 보여준다. TD-JEPA는 오프라인 로그에서 시간적 진행 구조를 발견하고 계획 시간 배포와 비용 형태를 공동 설계함으로써 JEPA 세계 모델 계획기의 훈련-계획 격차를 좁힌다. 코드는 https://github.com/HKBU-KnowComp/TD-JEPA에서 확인할 수 있다.

본 논문에서는 자유 텍스트 취약점 설명으로부터 CVE(Common Vulnerabilities and Exposures)를 MITRE ATT&CK 엔터프라이즈 기법에 매핑하는 재현 가능한 파이프라인을 제시한다. CWE->CAPEC->ATT&CK 유도 체인(해당 체인의 테이블 확장 인공물을 정량화함)에 의존하는 대신, MITRE 위협 정보 기반 방어 센터의 전문가 매핑을 통해 선별된 1,207개 CVE의 골드 데이터셋에서 다중 레이블 분류기를 학습시킨다. 결과 모델은 제로샷 임베딩 유사도 기준선에 비해 재현율@5가 약 두 배 향상되었으며, 모든 순위 지표가 개선되었다. 이후 LLM 기반 레이블링이 골드 데이터셋을 확장할 수 있는지 조사한다. 초기 실험은 상반된 결론을 시사한다. 한 번의 실행은 성능 저하를 나타내지만, 다섯 개의 무작위 시드를 평균하면 약간의 향상을 보인다. 그러나 독립적인 복제 실험과 확장 규모 연구(100~984개 추가 CVE)는 겉보기 개선이 평가 인공물임을 보여준다. LLM이 생성한 레이블(전문가 주석과 약 0.39의 일치도)은 모든 확장 규모에서 신뢰할 수 있는 개선을 제공하지 않으며, 약 1,000개의 CVE를 추가할 경우 희소 기법 적용 범위를 감소시킨다(매크로 F1 0.04 감소). 근본 원인은 평가 노이즈이다. 작은 테스트 분할에서 체크포인트를 선택하면 사실상 여러 노이즈가 있는 평가에서 최대값을 선택하게 되어, 그 외에는 동일한 실행 간에 재현율@5 차이가 최대 0.05까지 발생한다. 검증 분할 체크포인트 선택에 기반한 수정된 프로토콜을 사용하면, 골드 전용 모델은 재현율@5 0.673 ± 0.019를 달성하며, 결정적 실험을 반복했을 때 LLM 확장에 대한 귀무 결과가 확인된다. 최종 확장 연구는 추가적인 전문가 선별 데이터가 지속적으로 성능을 향상시키는 반면, LLM이 레이블링한 데이터는 그렇지 않음을 보여주며, 이는 분류기가 데이터셋 크기보다 레이블 품질에 의해 제한됨을 시사한다. 모든 데이터셋, 모델, 코드 및 학습 로그는 공개적으로 배포된다.

서로 다른 연구 분야에서는 세계 모델이라는 용어를 다양한 방식으로 사용하지만, 이들은 공통된 목표를 공유한다: 즉, 지각, 시뮬레이션 및 계획을 지원하는 형태로 행동에 따라 세계가 어떻게 진화하는지를 포착하는 것이다. 두 가지 두드러진 구현 방식은 연속 벡터 공간에서 역학을 학습하는 신경 예측기와 명시적인 상태 및 물리 법칙을 노출하는 수작업 물리 엔진이다. 신경 예측기는 데이터로부터 확장 가능하지만 역학의 형태를 암시적으로 남겨두는 반면, 물리 엔진은 검사 및 편집이 가능하지만 대규모로 구축하기 어렵다. 우리는 세계 역학을 코드로 표현하는 VisualPatchWorld (VPW)를 소개한다. VPW는 먼저 짧은 능동 탐침을 통해 정성적 역학 형태를 선택한 후, 기록된 상태-행동 궤적으로부터 다단계 예측 오차를 최소화하여 해당 형태의 자유 매개변수를 적합시킨다. 결과 프로그램은 시뮬레이터처럼 앞으로 전개할 수 있고, 소스 형태로 검사할 수 있으며, 모델 예측 제어 내에서 사용할 수 있다; 이미지에서 파생된 장면 그래프는 재계획 시점에 실시간 상태를 제공할 수 있다. 이전 코드 기반 세계 모델과의 비교에서 VPW는 평균 계획 성공률 69.0%를 달성하여 가장 강력한 코드 기준선을 23.5포인트 초과한다. 가장 큰 이득은 올바른 정성적 역학을 선택하는 것이 필수적인 경우에 발생한다. 동일한 계획기 하에서 유도된 모델은 내비게이션 및 파지 중심 제어에서 실제 엔진 성공률에 근접한다; 접촉이 많은 밀기 작업에서는 잔여 격차가 남아 있으며, 엔진에서 유망한 계획의 후보 목록을 확인하면 해당 격차의 대부분을 해소한다. 이러한 결과는 계획에 유용한 자동 구축 코드 세계 모델을 향한 실용적인 경로를 확립한다. 코드는 https://github.com/HKBU-KnowComp/VisualPatchWorld/에서 확인할 수 있다.

현대 코딩 에이전트는 일반적으로 최종적으로 올바른 패치를 생성하는지 여부로 평가되지만, 패치 생성은 이전의 맥락 획득 단계, 즉 작업에 필요한 저장소 파일을 찾는 과정에 의존한다. 본 논문에서는 이러한 상위 검색 문제를 위한 파일 수준 벤치마크인 Agent Retrieval Bench를 소개한다. 샘플은 실제 코딩 작업 흐름 신호로부터 구축되며, 동결된 기준 커밋 저장소에 대해 평가된다. 관련성은 질의-파일 간의 직접적인 의미적 유사성이 아니라 에이전트가 다음 단계에서 필요로 하는 것에 의해 정의된다. 이 벤치마크는 code2test, comment2context, trace2code, edit2ripple의 네 가지 긍정 검색 작업을 포함하며, 다섯 번째 하위 집합은 증거 기반의 무정답 사례와 반사실적 잘못된 저장소 통제군을 사용한 선택적 검색을 평가한다. Agent Retrieval Bench는 25개 저장소에 걸쳐 총 427개의 샘플(긍정 예시 345개, 자연적 무정답 예시 50개, 반사실 통제군 32개)로 구성된다. 코퍼스는 308개의 기준 커밋 스냅샷, 392,000개의 파일, 790만 개의 청크를 포함한다. 우리는 어휘 검색, RepoMap, 오픈소스 임베딩, 선택적 회피, 그리고 기록된 에이전트 맥락 선택을 평가한다. 단일 검색 계열이 전반적으로 우세하지는 않다: Qwen3-Embedding-4B는 긍정 샘플에서 표본 가중 MRR이 가장 높았고, Qwen3-Embedding-8B는 Recall@20에서, RepoMap은 8K 토큰에서 예산 기반 맥락 수득률이 가장 높았으며, 작업별 최적 방법은 상당히 달랐다. 반사실 통제군을 활용해 보정된 선택 임계값은 자연적 무정답 사례에 대한 선택적 성공률을 개선하지 못하여 보정 격차를 드러냈다. 기록된 궤적은 27~35%의 샘플에서 모든 정답 파일을 놓쳤다. 통제된 시드 개입 파일럿 실험에서는 검색 기반 초기 맥락이 무작위 비정답 맥락보다 더 높은 파일 F1 점수와 적은 사후 시드 탐색을 보였으며, 오라클 정답 맥락은 여전히 상당한 추가 개선 여지를 보여주었다.

추론 작업에 대해 학습된 언어 모델 \(p_\theta(y \mid x)\)는 여러 개의 뚜렷한 전략을 통해 문제를 해결하는 방법을 학습하지만, 이러한 전략은 모델의 응답 분포 내에서 암시적이고 얽혀 있다. 본 연구는 주어진 사전 학습된 언어 모델의 응답 분포를 구조화된 전략 조건부 표현으로 분해하는 문제를 다룬다. 구체적으로, 잠재 변수 분해 \(p_\theta(y \mid x) \leadsto (r_\phi(z \mid x), g_\phi(y \mid x, z))\)를 학습하는데, 여기서 라우터 \(r\)은 각 입력을 잠재 전략 \(z\)에 대한 분포로 매핑하고, 생성기 \(g\)는 해당 전략에 조건화된 응답을 생성한다. 핵심 난제는 기본 모델에서 초기화된 생성기가 이미 \(z\)를 사용하지 않고 \(p_\theta(y \mid x)\)를 표현한다는 점이다. 따라서 표준 변분 추론은 모델이 \(z\)를 통해 정보를 전달할 유인을 제공하지 않으며, 심각한 형태의 사후 분포 붕괴를 초래할 수 있다. 이를 해결하기 위해 우리는 기본 모델의 응답 손실에 대한 부분적 정보 이득을 측정하고, 기본 모델의 놀라움(surprisal)이 높은 토큰에 재구성 압력을 집중시키는 변분 목적 함수를 제안한다. 이는 \(z\)가 전략과 관련된 응답 변동을 부호화하도록 유도한다. 우리는 다중 전략 알고리즘 작업에 대한 벤치마크를 도입하고, 제안된 목적 함수가 기본 모델의 응답 분포를 유지하면서 서로 다른 참조 전략과 정렬된 잠재 코드를 복원함을 보인다.

RLHF 파이프라인에서 보상 점수(reward scoring)는 정책 업데이트를 차단한다. 느린 점수 계산이 전체 루프의 병목이 되는데, 모든 롤아웃이 점수를 받을 때까지 업데이트가 실행되지 않기 때문이다. 그런데도 대부분의 설정은 그냥 PyTorch eager 모드나 torch.compile을 기본값으로 사용하며, 실제로 가장 빠른 방식인지 확인하지 않는다. 점수 계산 자체는 작은 작업이다. 롤아웃 생성이 일반적인 RLHF 단계에서 훨씬 더 많은 자원을 소비한다. 그러나 점수 계산과 생성은 동일한 CPU 및 GPU 자원을 두고 경쟁하므로, 더 빠른 점수 계산 엔진이 자체적으로 단계 시간을 줄여주지는 않는다. 주로 생성이 대신 사용할 수 있는 용량을 확보해줄 뿐이다. 우리는 ONNX Runtime 기반의 네이티브 C++ 추론 엔진을 구축했다. 첫 번째 단계는 정확성 확인이었다. 출력이 CPU에서 5.7×10⁻⁶, GPU에서 4.2×10⁻³의 오차로 PyTorch 참조값과 일치하여 신뢰할 수 있는 수준이었다. 그런 다음 PyTorch eager 모드, torch.compile, FastAPI와 비교하여 CPU와 GPU 모두에서 테스트했다. CPU에서는 확실한 결과가 나왔다. 우리 엔진이 모든 기준선을 능가했으며, 신뢰 구간조차 겹치지 않았다. GPU에서는 다른 양상이 나타났다. PyTorch와 FastAPI는 이겼지만, torch.compile이 앞섰다. 추가 테스트를 통해 속도 향상의 원인이 C++ 언어 자체가 아니라 ONNX Runtime에 있음을 확인했다. 또한 배치 전략이 언어나 런타임 선택보다 더 중요했으며, 그 영향은 예상보다 컸다. 결과는 반복적이고 독립적인 실행을 통해 얻은 것이며, 단일 실행만으로는 신뢰할 만한 결과를 얻을 수 없기 때문이다.

기존 BraTS-GLI 데이터셋은 성인 신경아교종(신경교종) MRI 분할을 위한 널리 사용되는 벤치마크를 제공하지만, 해당 작업 정의는 종양 하위 영역에 초점을 맞추고 동시에 존재하는 백질 고신호 강도(WMH)를 체계적으로 표현하지 않습니다. 공동 분할 설정에서 이러한 레이블이 지정되지 않은 이상 소견은 병리적 영역을 정상 조직으로 처리하여 작업별 레이블 노이즈를 유발합니다. 이 한계를 해결하기 위해, 본 연구에서는 BraTS 2023-GLI 훈련 코호트로부터 구축된 통제 접근, 레이블 전용 파생 리소스인 BraTS-GLI Anatomy-Lesion을 소개합니다. 이 리소스는 원래의 4모달 MRI 사례와 정렬된 1,251개의 통합된 8클래스 해부학-병변 레이블 세트를 제공하며, 수리된 이미징 입력이 필요한 116개 사례에 대한 이미지 수리 레이블을 포함합니다. 코호트는 394개 사례의 정제된 하위 집합과 857개 사례의 확장된 하위 집합으로 구성되며, 사례 수준 메타데이터는 레이블 출처, 이미지 수리 요구 사항, 품질 관리 상태, 접근 조건, 체크섬 및 릴리스 경계를 포함합니다. 원래 BraTS-GLI 주석과 비교하여, 이 리소스는 건강한 뇌 조직과 이전에 레이블이 지정되지 않은 동시 존재 이상 소견을 통합된 레이블 공간 내에 통합함으로써 전경 감독을 크게 확장합니다. MedNeXt 및 T1/FLAIR 입력을 사용한 검증 연구는 WMH 인식 감독이 도메인 내 GLI 및 외부 WMH 데이터셋 모두에서 건강한 조직 분할 성능을 유지하면서, 노이즈 대조 훈련에 비해 동시 병변에 대한 민감도를 향상시킨다는 것을 시사합니다. 이 리소스는 과학 연구를 위한 것이며 공동 해부학-병변 감독, 레이블 노이즈 분석 및 재현 가능한 평가를 지원합니다. 데이터는 https://www.synapse.org/Synapse:syn75210889/wiki/에서, 코드는 https://github.com/xyx200/brats-gli-anatomy-lesion-code에서 확인할 수 있습니다. 데이터 리소스 DOI는 https://doi.org/10.7303/SYN75210889입니다.

초분광 영상(HSI)은 물질 식별에 유용하지만, 실제 지뢰 탐지 작업에서는 표적을 발견하기 전에 검사해야 하는 오경보의 수가 중요합니다. 본 논문은 무인 항공기(UAV) 가시광선 및 근적외선(VNIR) HSI에서 PFM-1 지뢰 탐지를 위해 스펙트럴 앵글 매퍼(SAM), 정합 필터(MF), 적응 일관성 추정기(ACE), 제약 에너지 최소화(CEM)를 사용합니다. 지상 측정 SVC 시그니처, 완전 정보 기반 장면 내 코어 픽셀 시그니처, 그리고 인간-인-더-루프 시그니처 부트스트래핑을 비교합니다. 수신기 동작 특성 곡선 아래 면적 및 평균 정밀도 외에도, 표적 발견 곡선과 공간적 후보 검토 횟수를 보고합니다. 전체 검토 부트스트래핑은 7개 모든 표적 영역이 확인된 후 완전 정보 기반 장면 내 시그니처 사례에 도달하지만, 필요한 검사 노력은 크게 다릅니다. ACE는 2회전과 9회의 후보 검사로 모든 영역을 확인하는 반면, SAM 변형은 최종 표적 위치를 위해 수천 회의 후보 검토가 필요합니다. 코드는 https://github.com/SagarLekhak/IEEE_WHISPERS_2026_UAV_HSI_PFM1에서 확인할 수 있습니다.

열적외선(TIR) 영상은 시각적 열화 환경에서 무인기 군집 운용에 필수적이다. 하지만 제한된 외형 단서, 빈번한 가려짐, 그리고 급속한 기동으로 인해 소형 무인기 추적은 여전히 어려운 과제이다. Anti-UAV 챌린지와 같은 벤치마크에 의해 상당한 진전이 있었음에도 불구하고, 기존 방법들은 주로 정확도를 우선시하면서 실시간 엣지 배치의 연산 제약을 간과하고 있다. 표준 칼만 필터(KF)는 엣지 장치에 필요한 효율성을 제공하지만, 그 등속 가정은 고도로 동적인 무인기 운동과 열 센서 지터 하에서 자주 붕괴된다. 보다 정교한 비선형 추정기는 강건성을 향상시킬 수 있지만 종종 추가적인 연산 비용을 초래한다. 이러한 격차를 해소하기 위해, 우리는 실시간 효율성을 유지하면서 상태 의존적 운동학 모델링으로 선형 KF를 보강하는 적응형 운동학 칼만 필터(AKKF)를 중심으로 한 엣지 인식 온라인 추적 파이프라인을 제안한다. 일시적 오탐지 억제 및 운동학 기반 예측 코스팅과 결합하여, 제안된 파이프라인은 까다로운 TIR 조건에서 궤적 연속성을 개선한다. Beyond Strong Baseline (BSB) 벤치마크에 대한 실험은 추적 성능과 연산 효율성을 함께 평가함으로써 엣지 인식 무인기 추적을 위한 출발점을 제공하며, 향후 실시간 배치에 대한 통찰력을 제시한다.

도메인 일반화(DG)는 분포 변화에 강건한 표현을 학습하는 것을 목표로 한다. 최근의 기하학적 정렬 방법, 예를 들어 CPCANet은 미니배치 단위의 공통 주성분 분석(CPCA)을 통해 도메인 불변 구조를 추출한다. 그러나 CPCANet은 미니배치 학습 시 소표본 문제로 인해 계수 부족 공분산 추정 문제를 겪는다. 이러한 한계를 극복하기 위해, 본 논문에서는 공분산 없이 스티펠 다양체(Stiefel manifold) 위에서 전역적 직교 기저를 학습하고, 이를 켤리 변환(Cayley transform)을 통해 네트워크 파라미터와 공동 최적화하는 투영 추적 CPCANet(PP-CPCANet)을 제안한다. 또한, 대칭 파괴 분리-중앙값 PP 분산 목적 함수를 도입하여 조밀하고 강건한 최적화 신호로 공통 주성분(CPC)을 추출한다. 네 가지 DG 벤치마크 실험 결과, PP-CPCANet은 안정적인 훈련을 유지하면서 최고 수준의 성능을 달성함을 보여준다.

생체의료 영상 분석은 다양한 모달리티와 작업을 포괄하지만, 실제 환경에서의 배포는 스캐너, 프로토콜 및 환자 집단 간의 심각한 분포 변화로 인해 어려움을 겪습니다. 따라서 고성능 모델은 도메인별 미세 조정을 반복적으로 필요로 하며, 이는 비용이 많이 드는 과정으로, 레이블이 부족하거나 개인정보 보호 제약으로 인해 데이터 공유가 제한되는 경우 비현실적입니다. 본 논문에서는 OPERA(오프라인 정책 기반 전문가 라우팅 및 적응)를 제안합니다. 이는 다중 에이전트 앙상블 프레임워크로, 전문가 가중치 할당을 오프라인 정책 학습 문제로 처리하여 배포 병목 현상을 해결합니다. 즉, 소규모 검증 세트로부터 어떤 전문가 에이전트에도 그래디언트 업데이트 없이 라우팅 정책을 학습하고, 테스트 시간 적응을 통해 분포 변화에 대처합니다. OPERA는 상호 보완적 메커니즘을 통해 이질적인 전문가 에이전트들을 조정합니다. 전문가 프로파일링 모듈은 오프라인에서 선택 정책을 학습하여 정보에 기반한 전문성 할당을 가능하게 합니다. 각 에이전트는 온도 조정을 통한 신뢰도 보정을 거쳐 더 신뢰할 수 있는 확률적 출력을 보장합니다. OPERA는 또한 분포 인식 적응을 통합하여, 레이블이 없는 테스트 데이터에서 도출된 통계를 사용해 배치 수준에서 클래스 가중치를 동적으로 조정합니다. 인스턴스 수준 라우팅은 모델 간 일치도와 예측 엔트로피를 활용하여 각 샘플을 가장 적합한 전문가에게 할당합니다. 본 논문은 안저 사진, 흉부 X-선, CT, MRI 및 다중 모달 진단 벤치마크를 포함한 9개의 데이터셋에서 OPERA를 평가하고, 분류, 분할 및 다중 모달 설정에서 30개 이상의 기준선과 비교합니다. OPERA는 성능과 보정 품질을 일관되게 개선하여, 오프라인 정책 기반 전문가 에이전트 조정이 재학습 없이도 배포 가능한 생체의료 AI를 위한 실용적인 경로임을 입증합니다. 코드는 https://github.com/HUANGLIZI/OPERA{GitHub}에서 확인할 수 있습니다.