일간 논문

학습 데이터의 품질은 대규모 언어 모델(LLM)의 능력을 근본적으로 결정하지만, LLM, 에이전트, 데이터 중심 워크플로우가 실제로 종단 간 학습 데이터를 얼마나 잘 준비하는지 측정하는 통일된 벤치마크는 존재하지 않습니다. 우리는 LLM 기반 데이터 준비가 두 가지 상호 보완적 역량으로 구성된다고 봅니다. 즉, 원시 소스를 지도 학습 데이터로 변환하는 데이터 구축과, 다운스트림 학습 전에 후보 데이터셋의 학습 가치를 예측하는 데이터 품질 평가입니다. 여기서 "품질"은 표면적 텍스트 속성이 아닌 다운스트림 학습 효용성을 의미합니다. 우리는 여섯 개 도메인과 여러 기본 모델에 걸쳐 공유된 다운스트림 기반 프로토콜 하에서 두 역량을 함께 평가하는 최초의 통합 벤치마크인 DataPrep-Bench를 소개합니다. 데이터 구축의 경우, 방법들은 동일한 원시 소스를 사용하며, 해당 출력물을 Dolly-15k와 함께 기본 모델에 미세 조정하여 점수를 매깁니다. 이 트랙과 함께 우리는 Data-Construction-Skill을 공개합니다. 이는 스킬 기반 에이전트로, Llama-3.1-8B 금융 도메인에서 Dolly-only 기준선을 절대치 기준 약 20포인트 향상시키며, 지식 추출 집약적 도메인에서 가장 강력한 에이전트 및 DataFlow 기반 방법과 경쟁력을 갖춥니다. 데이터 품질 평가의 경우, 점수 함수는 공유된 후보 풀에서 다운스트림 성능과의 피어슨 상관계수로 점수가 매겨집니다. 우리는 후보 데이터셋과 도메인 프록시 간의 MMD를 사용하는 분포 기반 평가자인 분포 정렬 점수(Distributional Alignment Score, DAS)를 공개합니다. DAS는 여섯 개 도메인 중 네 곳에서 가장 강력한 모델 간 상관관계를 달성하며, 수학, 과학, 의학에서 동시에 r > 0.70을 넘는 유일한 지표로, 기존의 품질 기반, 다양성 기반, 휴리스틱 기반 평가자들을 능가합니다. DataPrep-Bench는 LLM 기반 데이터 준비의 동등한 목표로서 두 역량에 대한 진전을 측정하기 위한 통합된 다운스트림 기반 프레임워크를 제공합니다.

LLM 훈련은 수동 설계 및 주석에서 상호작용 기반 자기 진화로 전환되고 있습니다. 그러나 기존의 자기 진화 방법은 작업 다양성과 검증 신뢰성 사이에서 근본적인 딜레마에 직면합니다. 환경 기반 방법은 정확한 피드백을 제공하지만 학습을 좁은 영역으로 제한하는 반면, 개방형 자기 생성은 작업 공간을 확장하지만 신뢰할 수 있는 검증이 부족하여 잘못된 보상이 훈련 루프를 오염시킬 수 있습니다. 우리는 에이전트 기술이 이러한 긴장을 조정하는 강력한 중간 지점을 제공한다고 식별합니다. 각 기술은 특정 시나리오에서 깊고 검증 가능한 실행을 보장하는 반면, 기술 간 동적 라우팅은 개방형 작업 다양성을 유지합니다. 이러한 통찰력을 활용하여 우리는 제안자, 해결사 및 동적 기술 제어기로 구성된 공진화 프레임워크인 기술 자기 대결(Skill-SP)을 소개합니다. 강화 학습 루프를 통해 조정된 이 구성 요소들은 지속적인 자기 대결 루프에서 공진화합니다. 제안자는 동적으로 샘플링된 기술에 기반하여 도전적인 작업을 생성하고, 해결사는 자신의 능력 경계를 확장하기 위해 후보 솔루션을 탐색하며, 기술 제어기는 실행 피드백을 수집하여 기술 라이브러리를 업데이트하고 확장합니다. 이러한 상호작용적 공진화는 구조화된 검증과 개방형 탐색 간의 격차를 효과적으로 메웁니다. 도구 사용 및 추론 벤치마크에 대한 실증 평가는 Skill-SP가 강력한 진화 엔진으로서 유능한 백본의 성능 한계를 지속적으로 높이는 동시에 초기에 정렬되지 않은 모델에 대해 놀라운 반전을 촉진함을 보여줍니다. 우리의 코드는 https://github.com/Qwen-Applications/skill-self-play에서 확인할 수 있습니다.

에이전트 강화 학습 연구는 끊임없는 알고리즘 수정, 새로운 추정기, 새로운 파이프라인 단계, 새로운 롤아웃 방식을 수반하며, 주류 프레임워크에서는 각 변경이 트레이너, 분산 백엔드, 롤아웃 접합 레이어를 관통하여 매 반복마다 연구자에게 비용을 부담시킵니다. Molt는 이러한 비용을 최소화하기 위해 설계된 PyTorch 네이티브 학습 프레임워크입니다. 연구자가 머릿속에 담을 수 있을 만큼 간결하고 정돈된 코드베이스를 제공하며, AI 코딩 어시스턴트가 전체를 읽고 추론할 수 있도록 하여 알고리즘 흐름을 처음부터 끝까지 추적하고 변경할 수 있습니다. 에이전트는 일반 프로그램이며, 하나의 비동기 루프는 멀티모달 및 전문가 혼합 정책을 학습하면서, 자신이 생성하지 않은 토큰에 대해 절대 학습하지 않도록 하여 토큰, 정책 버전, 모델 의미론에서 일관성을 유지합니다. 간결함이 성능을 희생하지는 않습니다. 완전히 일치된 비동기 프로토콜 하에서 Molt는 최첨단 Megatron 기반 스택과 통계적으로 유사한 성능을 보입니다. Molt는 오픈 소스로 제공되며, https://github.com/NVIDIA-NeMo/labs-molt에서 레시피와 컨테이너를 제공합니다.

프로덕션 AI 에이전트의 실패는 추론 능력의 부족보다는 대화 기록, 대규모 프롬프트, 방대한 도구 정의, 그리고 확장되는 도구 출력과 같은 추론 컨텍스트 내의 정보를 관리하지 못하는 데서 비롯되는 경우가 더 많다. 에이전트는 매 턴 증가하는 토큰 비용을 지불하면서 자체적으로 축적된 기록에 빠져들며, 대화 내부 및 대화 간 누락된 재호출을 발생시킨다. 현재의 대응 방식은 이를 저장 및 검색 문제로 간주한다. 우리는 이러한 프레이밍이 너무 협소하다고 주장한다. 에이전트가 마음속에 보유하는 정보를 능동적으로 관리하는 것은 단순한 저장소가 아닌 생애주기(lifecycle)에 해당한다. 즉, 무엇을 기억할지 결정하고, 이를 추출 및 구조화하고, 데이터 유형별로 적절한 저장소를 선택하며, 출처를 보존하면서 통합 및 망각을 수행하고, 현재 무엇이 관련성 있는지 판단하며, 다음에 필요한 것이 무엇인지 예측하고, 중요한 것을 잃지 않으면서 예산 내에서 컨텍스트를 압축하는 과정을 포괄한다. 본격적인 프로덕션 환경에서는 이 작업이 단일 사용자가 아닌 조직적 범위 계층 전반에 걸쳐 이루어진다. 우리는 이러한 학문 분야를 에이전트 컨텍스트 관리(Agentic Context Management, ACM)라고 명명하고, 이를 아키텍처링(architecting), 수집(ingesting), 스코핑(scoping), 예측(anticipating), 압축 및 통합(compacting & consolidation)의 다섯 가지 기본 요소로 분해한다. 그런 다음 경제적 측면을 제시한다. 즉, 단순 컨텍스트 누적은 대화 길이에 따라 토큰 비용을 이차적으로 증가시키고, 조잡한 요약은 정확도 급락을 대가로 선형 비용을 초래하며, 검증된 압축만이 충실도를 유지하면서 선형 비용을 달성한다. 우리는 다섯 가지 기본 요소를 다중 테넌트 서비스로 구현한 참조 구현체인 Maximem Synap을 설명하며, 섹션 6에 상세히 기술된 구성 하에 LongMemEval에서 92%, LoCoMo에서 93.2%의 성능을 보고한다. 마지막으로 기존 벤치마크가 아포착하지 못하는 차원들, 즉 지연 시간, 토큰 효율성, 컨텍스트 변질 저항(context-rot resistance), 그리고 이 범주가 지향하는 의사결정 수준 및 조직 수준 컨텍스트의 최전선을 언급하며 마무리한다.

실험 트래커는 훈련 진행 상황을 보여주지만, 실행 중인 훈련을 변경하려면 여전히 트레이너별 코드가 필요한 경우가 일반적이다. 본 논문에서는 공유 프로토콜을 통해 훈련을 조정하기 위한 오픈소스 제어 평면인 Interactive Training 2를 소개한다. 훈련 애플리케이션은 노출하는 설정과 작업을 선언하고, 사용자와 자동화된 컨트롤러는 동일한 인터페이스를 통해 요청을 제출하며, 훈련 루프는 이를 안전한 제어 지점에서 검증하고 적용한다. 맞춤형 Aim 작업 공간은 실시간 메트릭과 컨트롤을 요청 및 결과의 시간순 기록과 결합한다. 우리는 이 시스템을 자연어 처리 및 강화 학습 워크플로우 다섯 가지에서 시연한다. 공개된 코드와 추적 기록은 감사 가능한 인간 및 에이전트 주도 훈련을 위한 재사용 가능한 기반을 제공한다.

대규모 언어 모델(LLM)은 뛰어난 추론 능력을 보여주지만, 텍스트 전용 사전 학습에 의존하기 때문에 다중 모달 물리적 세계에 대한 인식이 제한된다. 네이티브 다중 모달 사전 학습은 모델을 처음부터 다중 모달 입력에 대해 학습시킴으로써 이러한 한계를 극복하며, 이를 통해 깊은 교차 모달 통합을 달성하고 기존의 후기 융합 아키텍처에 내재된 최적화 비대칭성을 완화한다. 이러한 장점에도 불구하고, 이 패러다임의 스케일링 특성은 체계적으로 규명되지 않았다. 이러한 격차를 해소하기 위해, 본 연구에서는 고정된 계산 예산 하에서 트랜스포머 기반 시각-언어 모델을 학습하기 위한 최적의 모델 크기와 토큰 수를 조사한다. 최소 목표 손실이 예측 가능한 계산 법칙을 따르는 반면, 계산 최적 모델 크기와 토큰 수는 멱법칙으로 스케일링됨을 입증한다. 특히, 언어 및 다중 모달 목적 함수는 뚜렷한 스케일링 행동을 보인다. 언어 할당 법칙은 데이터 구성에 대해 대체로 불변하며, 이는 다중 모달 데이터 비율과 관계없이 안정적인 언어 학습을 나타낸다. 반면, 다중 모달 할당 법칙은 데이터 구성에 매우 민감하다. 구체적으로, 텍스트가 많은 혼합은 더 큰 모델 규모에서만 계산 효율적이게 되어 최적 자원 할당이 더 큰 모델 용량으로 이동한다. 또한, 데이터 구성이 계산 법칙 및 할당 지수에 미치는 영향을 모델링함으로써, 모델 크기, 토큰 수 및 데이터 혼합의 정확한 구성을 명시하는 효율 경계를 도출한다. 하류 평가 결과는 네이티브 다중 모달 사전 학습이 긍정적인 교차 모달 전이를 유도하여 순수 텍스트 공간 추론을 향상시키고 강건한 다중 모달 맥락 내 학습을 가능하게 함을 추가로 보여준다. 요약하면, 본 실증 연구는 다중 모달 기초 모델을 예측 가능하게 스케일링하기 위한 필수적인 기반을 마련한다.

현대 생성 모델은 일반적으로 적대적 판별기, 사전 정의된 잡음-데이터 경로, 또는 자기회귀적 분해에 의존한다. 대신, 우리는 적절한 분포적 에너지가 표본 수준의 움직임을 유도하고 단일 단계 생성기를 위한 직접적인 회귀 감독을 제공할 수 있음을 보인다. 생성을 위한 삼체 산란 모델링(Three-Body Scattering Modeling, TBSM)은 에너지 거리를 일정한 크기의 발사체당 상호작용으로 변환한다: 각 발사체는 하나의 실제 소스에 끌리고 독립적으로 생성된 하나의 소스로부터 반발된다. 발사체와 그 조건이 주어졌을 때, 그 기대값은 ½ D_E²(P_θ,Q)의 2-와서스타인 그래디언트 흐름 속도와 같다. B개의 고정된 타겟 사건으로 구성된 배치는 O(B)개의 표본 수준 손실을 생성하며, 각 손실은 Drifting Models와 같은 방법에서 사용하는 미니배치 전체의 모든 쌍 필드 대신 하나의 참조를 조건으로 사용한다. 이 조건부 기대값을 온라인으로 추적하면 필드 노이즈를 줄일 수 있다. 고정된 이미지 특징에서 산란을 사용하여, TBSM은 ImageNet-256에서 단일 단계 생성기를 훈련시켜, 픽셀 공간 PixelDiT-XL로 FID=2.23을, 잠재 공간 DiT-XL로 NFE=1에서 FID=1.63을 달성한다. 우리는 확산 관련 감독, Drift 유사 동역학, GAN 유사 목적 함수를 연결하는 설계 맵을 제공한다. 이러한 결과는 추적된 산란을 고차원 단일 단계 생성을 위한 경로로 확립한다. 코드: https://github.com/sp12138/TBSM.

산업 영상 이상 탐지(IVAD)는 산업 공정에서 이상 객체와 이벤트를 식별하는 것을 목표로 하며, 이는 현대 제조 및 품질 관리 시스템에 필수적이다. 기존 VLM 기반 이상 추론 방법은 일반 도메인에서 개방형 이상을 탐지할 수 있다. 그러나 복잡한 객체 변환, 엄격한 물리 법칙, 공정 제약 조건이 특징인 산업 환경에서는 성능이 저하된다. 이러한 상호작용이 집약적인 탐지의 복잡성을 해결하기 위해, 우리는 도메인 특화 지식 없이도 이상 탐지가 가능한 훈련 없는 에이전트 기반 프레임워크를 도입하며, 인간 검사관처럼 객체 상태 진화에 중점을 둔다. 이 프레임워크는 시간에 따른 탐지된 객체의 시공간 역학과 내재적 변환을 추적한 후, 객체별 시간적 상태 궤적을 추론하여 정확한 프레임에서 이상 객체를 식별하도록 설계되었다. 우리의 방법은 정상 클립에 대한 재훈련이나 테스트 시 추론을 위한 컨텍스트로 도메인 지식을 주입하는 이전 접근 방식의 한계를 극복한다. 세 가지 IVAD 데이터셋에 대한 광범위한 실험을 통해, 우리의 방법이 최신 VLM, 에이전트 기반 프레임워크, 그리고 각 데이터셋에 미세 조정된 전통적인 VAD 방법보다 뛰어난 성능을 보이면서도 이상 과정과 유형에 대한 해석 가능한 보고서를 제공함을 입증한다.

다국어 검색 증강 생성에서는 검색기가 여러 언어로 작성된 관련 문서를 검색한 후, 답변 생성 전에 해당 문서들을 재순위화한다. 그러나 기존의 다국어 재순위화기가 의미적으로 관련된 후보들을 정렬할 때 문서 언어를 고려하는지는 여전히 불분명하다. 본 분석에 따르면, 문서 언어가 답변 생성에 영향을 미칠 수 있음에도 불구하고 이러한 재순위화기들은 언어 간 의미적으로 동등한 문서가 존재할 때 질의와 동일한 언어로 작성된 문서를 일관되게 우선순위에 두지 않는다. 이에 우리는 의미적 관련성과 언어 일관성을 모두 고려하도록 훈련된 언어 인식 다국어 교차 인코더 LAMAR을 공개한다. LAMAR은 먼저 영어 기반 관련성 증류를 통해 다국어 입력 전반에 걸쳐 일관된 관련성 점수를 확립한 후, 언어 일관성을 위한 선호도 정렬을 적용하여 의미적 관련성을 유지하면서 질의와 동일한 언어로 작성된 문서가 더 높은 순위를 받도록 장려한다. 언어 일관성을 평가하기 위해 설계된 통제 실험에서 LAMAR은 전체 및 개별적으로 검토된 모든 언어에서 최고의 성능을 달성했다. 또한 LAMAR은 기존의 다국어 재순위화 벤치마크에서도 경쟁력을 유지한다. 실제 검색 환경에서 LAMAR은 첫 번째 단계에서 검색된 후보들을 재순위화할 때 보고된 모든 지표에서 최고의 결과를 달성했다. 이러한 결과는 LAMAR이 언어 일관성을 고려하면서도 일반적인 다국어 재순위화 벤치마크에서 강력한 성능을 보임을 입증한다.

대규모 언어 모델이 점차 에이전트로 배치되고 있지만, 신뢰할 수 있는 에이전트 동작을 위해서는 단순한 다음 토큰 예측 이상이 필요하다. 추론 시점에서 에이전트는 현재 추론을 계속 진행할지, 더 강력한 모델로 위임할지, 추가 정보를 요청할지, 외부 도구를 호출할지, 아니면 주어진 설정 하에서 기권할지를 결정할 수 있는 것이 바람직하다. 기존 접근 방식은 이러한 결정을 프롬프트 수준 라우팅, 외부 오케스트레이션 또는 작업별 미세 조정을 통해 처리하는데, 이들은 주로 입력 측 신호에 의존하며, 모델 백본이 발전함에 따라 비용이 많이 들고 유지 관리가 어려운 경우가 많다. 우리는 이러한 제어 결정이 모델의 잠재 생성 과정에서 직접 추론될 수 있는지 묻는다. 본 논문에서는 다중 헤드 잠재 제어(Multi-Head Latent Control)를 소개한다. 이는 경량 계층으로, 고정된 LLM 또는 VLM의 은닉 상태 궤적을 읽어 배포 시점의 제어 신호를 생성한다. 능력 헤드(Capability Head)는 현재 모델이 인스턴스를 해결할 수 있는지, 아니면 더 강력한 협력자에게 위임해야 하는지를 예측하고, 해결 헤드(Resolution Head)는 명확화, 도구 사용, 기권, 직접 응답 중 적절한 해결 결정을 예측한다. 두 헤드는 동일한 고정된 LLM 백본의 잠재 흔적만으로 학습되므로, 모델을 수정하지 않고도 사후 적응이 가능하다. 언어 및 언어-비전 설정에서 다중 헤드 잠재 제어는 다중 모델 시스템의 품질-비용 균형을 지속적으로 개선하여, 부분 생성에서의 조기 인계와 더 정확한 개입 결정을 가능하게 한다. 라우팅 실행(소형 모델 + 대형 모델)에서 AndroidWorld의 경우 대규모 모델 사용량을 최대 90.7%까지 줄였으며, 벤치마크 평균적으로 27~53% 감소시키면서도 대규모 모델 성능의 대부분을 유지했다. 또한, 학습된 제어 신호는 도구 사용 결정 품질을 향상시켜 최대 +158%의 상대 점수 향상과 65.5%의 필요 도구 호출 누락 감소를 달성했다.

최근 조건부 비디오 생성 모델은 깊이 맵 및 텍스처 없는 지오메트리와 같은 3D 엔진 렌더링을 게임 및 몰입형 콘텐츠 생성을 위한 사실적인 비디오로 변환하는 유망한 잠재력을 보여주고 있다. 이러한 응용 분야는 지속적인 3D 세계를 유지하면서 새로운 프레임을 지속적으로 합성하는 장기 자기회귀 생성을 필요로 한다. 자기회귀 생성기는 제한된 KV 캐시를 사용하여 비디오를 청크 단위로 합성하므로, 카메라가 컨텍스트가 제거된 후 동일한 위치를 재방문할 때 조건부 렌더링(예: 깊이)이 기본 지오메트리와 완벽하게 정렬되어 있음에도 불구하고 모델이 일관되지 않은 외관을 재생성하는 경우가 많다. 본 연구에서는 3D 엔진이 이미 제공하는 대응 관계를 활용하여 추가 학습 없이 재방문 불일치 문제를 해결한다. 시간적 대응은 포즈와 일치하는 과거 잠재 청크를 루프 폐쇄 메모리로서 KV 캐시로 검색하며, 공간적 대응은 카메라 포즈 및 깊이 재투영을 통해 검색된 청크의 기하학적으로 대응되는 영역으로 토큰 수준 어텐션을 편향시킨다. 우리는 TartanAir 및 TartanGround 데이터셋에서 추출한 루프 폐쇄 궤적에 대해 제안 방법을 평가하여 복잡한 실제 응용 시나리오를 반영하였으며, 전반적인 비디오 품질을 저하시키지 않으면서 재방문 일관성 측면에서 기존의 학습 없는 기준선보다 우수한 성능을 보였다. 프로젝트 페이지: https://wenchao-m.github.io/ClosetheLoop.github.io/

대규모 언어 모델(LLM)은 지난 몇 년간 과학적 발견 과정을 상당 부분 자동화해 왔습니다. 그러나 기존 시스템에는 핵심적인 한계가 있습니다. 바로 품질(Quality)이나 다양성(Diversity) 중 하나만을 위해 독립적으로 아이디어를 생성하고 최적화한다는 점입니다. 이로 인해 서로 매우 가까운 아이디어들이 생성되거나, 사소하거나 타당하지 않거나 불명확한 개념들이 대량으로 생성되는 경우가 자주 발생합니다. 본 연구에서는 대신 연구 아이디어 발상을 두 목표의 결합으로 취급하고, 이를 품질-다양성(QD) 탐색의 틀로 구성해야 한다고 주장합니다. 이러한 관점에 따라, 우리는 계보(lineage)를 통해 아이디어의 진화를 관리하는 다중 에이전트 프레임워크인 IDEAgent를 소개합니다. 전용 수리 및 개선을 위한 다중 목표 피드백을 사용하여 품질을 공동으로 추진하는 동시에, 경량 순차 메모리와 완성된 아이디어, 그 역사적 조상 및 거부된 제안에 대한 명시적 비교를 통해 다양성을 달성합니다. 이러한 QD 결합을 체계적으로 평가하기 위해, 미리 정해진 품질 임계값을 충족하는 상호 다양한 아이디어 중 가장 큰 집합을 계산하는 공동 지표인 Yield를 개발했습니다. 마지막으로, 컴퓨터 과학 8개 도메인에 걸친 32개 주제에 대한 평가를 통해 IDEAgent가 최고 기준선(baseline) 대비 Yield에서 3.89배 더 뛰어난 성능을 보였으며, 8배 더 많은 주제에서 0이 아닌 Yield를 달성했음을 보여줍니다. 또한 품질 개선 분석을 통해 수리 및 개선이 비자명성(non-obviousness)을 유지하면서 논리적 엄격성과 명확성을 구축하는 데 중요함을 추가로 입증합니다. QD 탐색 기반 아이디어 발상에 대한 향후 연구를 장려하기 위해 IDEAgent를 https://github.com/declare-lab/IDEAgent에서 오픈소스로 공개합니다.

시각-언어 모델(VLM) 에이전트는 3D 장면을 단순히 설명하는 것을 넘어 도구를 활용하여 조작하는 방향으로 발전하고 있다. 기존의 3D 벤치마크는 텍스트 응답이나 단일 객체 조작에 초점을 맞춰, 완전한 다중 객체 3D 장면에서의 에이전트 행동은 충분히 평가되지 못하고 있다. 본 논문에서는 통합된 에이전트-환경 루프 내에서 5가지 3D 과제에 걸쳐 시각 조건부 행동을 평가하는 벤치마크인 SceneActBench를 제안한다. 에이전트는 PNG 이미지나 샘플링된 비디오 프레임, 그리고 해당하는 경우 제공된 3D 자산을 바탕으로 3D 환경에서 행동을 수행한다. 각 최종 출력물은 과제별 기하학적 지표를 사용하여 숨겨진 정답과 비교 평가된다. SceneActBench는 210개의 원천 인스턴스로 구성된 5가지 과제로 이루어져 있으며, 쌍을 이루는 입력 조건을 포함하여 총 520개의 과제 사례를 제공한다. 모든 과제는 공정한 비교를 위해 하나의 고정된 에이전트 루프를 통해 실행된다. 11가지 독점 VLM 구성에 대해 전체 점수는 38.6에서 50.2 사이로 나타났으며, 어떤 구성도 모든 과제에서 일관되게 우수한 성능을 보이지 않았다. 또한 실패가 발생하는 위치와 방식을 추가로 분석하였다.

확산 모델은 일반적으로 반복 샘플링 과정에서 오류가 누적되는 현상, 즉 노출 편향(exposure bias)을 겪는다. 본 연구는 훈련과 추론 간에 체계적인 주파수 의존적 불일치가 존재함을 밝혀내며, 이를 주파수 의존적 SNR 오류로 해석할 수 있음을 보인다. 결정적으로, 이러한 불일치의 방향은 모델과 시간 단계(timestep)에 따라 달라지며, 이는 고정된 보정 규칙이 일반화되지 않음을 시사한다. 본 연구는 가벼운 가이드 기반 방법인 스펙트럼 정렬(Spectral Alignment, SPA)을 제안한다. SPA는 중간 예측값의 전력 스펙트럼을 사전 계산된 사전 분포(prior)에 맞게 보정한다. 제안하는 접근법은 두 단계로 구성된다: (1) 훈련 데이터로부터 매개변수적 스펙트럼 모델을 오프라인에서 피팅하고, (2) 효율적인 FFT 기반 그래디언트 계산을 통해 추론 시 가이드를 수행한다. SPA는 최소한의 계산 오버헤드(3-4%)만을 추가하며, 분류기 없는 가이드(Classifier-Free Guidance, CFG)와 상호 보완적이다. 본 연구는 픽셀 공간 모델(DDPM, ADM)에서 잠재 확산 모델(SD2.0, SDXL), 플로우 매칭 모델(SD3.5, FLUX)에 이르기까지 다양한 아키텍처에서 일관된 성능 향상을 입증한다. 구현 코드는 https://github.com/SonyResearch/SPA에서 확인할 수 있다.

시각-언어 모델(VLM)은 다수의 시각 토큰을 처리하므로 추론 지연 시간과 메모리 오버헤드가 크게 발생한다. 이로 인해 시각 토큰 압축에 관한 광범위한 연구가 이루어져 왔다. 학습 없는 전략은 휴리스틱 지표에 의존하며 높은 압축률에서 심각한 성능 저하를 겪는 반면, 많은 학습 기반 방법은 외부 압축 모듈을 도입하여 VLM 백본이 적응하도록 강제함으로써 상당한 재학습 비용을 초래하고 VLM의 사전 지식을 손상시킨다. 효과적인 시각 토큰 압축은 강력한 정보 인코딩에 달려 있으며, 이러한 능력은 사전 학습된 VLM에 이미 존재하지만 기존 접근법에서는 충분히 활용되지 못하고 있다. 이에 착안하여, 우리는 사전 학습된 VLM 자체를 내재적 압축기로 재사용하는 학습 효율적인 자체 압축 프레임워크인 VisCo를 제안한다. VisCo는 소수의 메모리 토큰을 사용하여 시각 정보를 압축하고, 인코딩에서 디코딩으로 계층적 정보를 전달하는 파라미터 공유 오토인코더이다. 실험 결과, VisCo는 모든 평가된 압축률에서 이전 방법들을 능가하며, 더 공격적인 압축일수록 더 큰 성능 향상을 보이고, 극단적인 단일 토큰 설정에서도 안정적으로 유지된다. 더 나아가, 학습된 메모리 토큰을 원본 시각 토큰과 결합하면 기본 모델이 개선되기까지 하는데, 이는 VisCo가 압축을 넘어 보완적 표현을 포착함을 시사한다.

대부분의 자동 화자 검증(ASV) 시스템은 개별 발화를 대상으로 작동하지만, 실제 상호작용은 일반적으로 여러 발화로 구성된다. 음성이 축적됨에 따라 음향적, 운율적, 언어적 단서를 통해 점점 더 풍부한 화자 정보를 얻을 수 있게 되며, 이는 주로 음성 특성을 표적으로 하는 화자 익명화 방식에 도전이 될 수 있다. 우리는 다중 발화, 다중 모달 환경에서 ASV를 조사하고, 익명화된 음성 전반에 걸쳐 정보를 집계하는 것이 프라이버시에 미치는 영향을 검토한다. 먼저 다중 익명화 발화에 걸친 오디오 전용 집계를 연구하여, 더 많은 음성이 제공됨에 따라 일관된 성능 향상이 나타남을 관찰한다. 그다음 운율 및 언어 정보를 통합하여 다중 모달 시스템이 단일 모달 접근법보다 우수함을 보여준다. 마지막으로 집계 전략을 비교하여 프레임 수준 집계가 가장 낮은 EER을 산출함을 발견한다. 익명화된 발화가 5개만 있어도 오디오와 텍스트를 결합하면 오디오 전용 집계에 비해 EER이 15% 이상 감소하여, 익명화에도 불구하고 상당한 화자 식별 정보에 접근 가능함을 입증한다.