일간 논문

본 보고서는 고해상도 이미지 및 10초 비디오 합성을 위한 최첨단 기반 모델인 Kandinsky 5.0 시리즈를 소개한다. 이 프레임워크는 세 가지 핵심 모델 라인업으로 구성된다: Kandinsky 5.0 Image Lite - 6B 파라미터 이미지 생성 모델 라인업, Kandinsky 5.0 Video Lite - 빠르고 경량화된 2B 파라미터 텍스트-투-비디오 및 이미지-투-비디오 모델, 그리고 Kandinsky 5.0 Video Pro - 우수한 비디오 생성 품질을 달성하는 19B 파라미터 모델. 본 보고서는 다단계 학습 파이프라인을 위한 데이터 큐레이션 라이프사이클(수집, 처리, 필터링 및 클러스터링 포함)을 종합적으로 검토하며, 이 파이프라인은 광범위한 사전 학습과 자기 지도 미세 조정(SFT) 및 강화 학습(RL) 기반 사후 학습과 같은 품질 향상 기법을 통합한다. 또한 Kandinsky 5.0이 다양한 작업에서 높은 생성 속도와 최첨단 성능을 달성할 수 있도록 하는 새로운 아키텍처, 학습 및 추론 최적화를 제시하며, 이는 인간 평가를 통해 입증된다. 대규모 공개 생성 프레임워크로서 Kandinsky 5.0은 사전 학습 및 후속 단계의 잠재력을 최대한 활용하여 다양한 생성 애플리케이션에 적응할 수 있다. 본 보고서와 함께 오픈소스 코드 및 학습 체크포인트를 공개함으로써 연구 커뮤니티를 위한 고품질 생성 모델의 개발과 접근성을 크게 진전시킬 수 있기를 기대한다.

비디오 모델은 일관된 동작 역학을 가진 고품질 비디오 생성에서 놀라운 성공을 거두었습니다. 언어 모델링에서 텍스트 생성에서 텍스트 기반 추론으로의 발전과 유사하게, 비디오 모델의 발전은 우리에게 다음과 같은 질문을 던지게 합니다: 비디오 모델이 비디오 생성을 통해 추론할 수 있을까? 이산적인 텍스트 코퍼스와 비교하여, 비디오는 명시적인 공간 배치와 시간적 연속성에 추론을 기반으로 하여 공간 추론을 위한 이상적인 기질을 제공합니다. 본 연구에서는 비디오를 통한 추론 패러다임을 탐구하고, 비디오 모델의 추론 능력을 체계적으로 평가하도록 설계된 포괄적인 벤치마크인 VR-Bench를 소개합니다. 본질적으로 공간 계획과 다단계 추론을 요구하는 미로 해결 과제에 기반한 VR-Bench는 5가지 미로 유형과 다양한 시각적 스타일로 구성된 7,920개의 절차적 생성 비디오를 포함합니다. 우리의 실증적 분석은 SFT가 비디오 모델의 추론 능력을 효율적으로 이끌어낼 수 있음을 보여줍니다. 비디오 모델은 추론 과정에서 더 강력한 공간 인식을 보이며, 주요 VLM을 능가하고 다양한 시나리오, 과제, 복잡도 수준에서 잘 일반화됩니다. 우리는 또한 추론 시 다양한 샘플링이 추론 신뢰도를 10-20% 향상시키는 테스트 타임 스케일링 효과를 추가로 발견했습니다. 이러한 발견들은 공간 추론 과제에 대한 비디오를 통한 추론의 독특한 잠재력과 확장성을 강조합니다.

AI 연구 에이전트는 머신러닝 모델의 설계, 구현, 훈련 과정을 자동화함으로써 과학적 진보를 가속화할 잠재력을 제공합니다. 그러나 이 분야는 아직 초기 단계에 머물러 있으며, 에이전트 실행 경로의 성공 또는 실패를 결정하는 핵심 요인들이 완전히 이해되지 않고 있습니다. 본 연구는 아이디어 생성의 다양성(ideation diversity)이 에이전트 성능에 미치는 역할을 검토합니다. 먼저, 우리는 다양한 모델과 에이전트 스캐폴드(scaffold)를 대상으로 AI 연구 에이전트 평가를 위한 잘 알려진 벤치마크인 MLE-bench 상의 에이전트 실행 경로를 분석합니다. 우리의 분석 결과, 서로 다른 모델과 에이전트 스캐폴드는 서로 다른 수준의 아이디어 생성 다양성을 보여주며, 높은 성능을 보이는 에이전트일수록 아이디어 생성 다양성이 증가하는 경향이 있음을 밝혔습니다. 더 나아가, 우리는 아이디어 생성 다양성의 정도를 인위적으로 조절하는 통제 실험을 실행하여, 더 높은 아이디어 생성 다양성이 더 강력한 성능으로 이어짐을 입증합니다. 마지막으로, 우리는 MLE-bench의 표준 메달 기반 점수 체계를 넘어선 추가 평가 지표들을 검토함으로써 연구 결과의 타당성을 강화하며, 우리의 발견이 다른 에이전트 성능 지표들에서도 동일하게 적용됨을 보여줍니다.

강화학습(RL)은 복잡한 추론 과제에서 시각-언어 모델(VLM)의 성능을 향상시키기 위한 원칙적인 프레임워크를 제공합니다. 그러나 기존 RL 접근법은 검증 가능한 보상을 정의하기 위해 인간이 주석을 단 레이블이나 과제별 휴리스틱에 의존하는 경우가 많으며, 이는 모두 비용이 많이 들고 확장하기 어렵습니다. 본 연구에서는 방대한 양의 레이블 없는 이미지 데이터를 활용하여 VLM이 자율적으로 추론 능력을 향상시킬 수 있는 자가 진화 RL 프레임워크인 VisPlay를 소개합니다. 단일 기본 VLM에서 시작하여 VisPlay는 모델을 상호 작용하는 두 가지 역할로 할당합니다: 도전적이면서도 답변이 가능한 시각적 질문을 구성하는 이미지 조건 질문자(Image-Conditioned Questioner)와 은색 응답(silver response)을 생성하는 다중모드 추론자(Multimodal Reasoner)입니다. 이러한 역할은 생성된 질문의 복잡성과 은색 응답의 품질을 균형 있게 조절하기 위해 다양성 및 난이도 보상을 통합한 그룹 상대 정책 최적화(GRPO)를 통해 공동으로 학습됩니다. VisPlay는 두 모델 패밀리에서 효율적으로 확장됩니다. Qwen2.5-VL 및 MiMo-VL로 학습했을 때, VisPlay는 MM-Vet와 MMMU를 포함한 8개 벤치마크에서 시각적 추론, 구성적 일반화, 환각 감소 측면에서 일관된 성능 향상을 달성하여 자가 진화하는 다중모드 인텔리전스로 나아가는 확장 가능한 경로를 입증합니다. 프로젝트 페이지는 https://bruno686.github.io/VisPlay/에서 확인할 수 있습니다.

현재 흉부 X선(CXR) 병변 분할 모델의 적용 가능성은 적은 수의 대상 레이블과 전문가 수준의 길고 상세한 텍스트 입력에 의존해야 한다는 점으로 인해 제한되어 왔으며, 이는 실용적 사용에 장벽으로 작용해왔습니다. 이러한 한계를 해결하기 위해 우리는 간단하고 사용자 친화적인 지시문을 기반으로 다양한 병변 유형을 분할하도록 설계된 새로운 패러다임인 지시 기반 병변 분할(ILS)을 소개합니다. 이 패러다임 아래에서 우리는 흉부 X선 이미지와 해당 보고서로부터 주석을 생성하는 완전 자동화된 멀티모달 파이프라인을 활용하여 CXR 병변 분할을 위한 최초의 대규모 지시-응답 데이터셋인 MIMIC-ILS를 구축했습니다. MIMIC-ILS는 192K개의 이미지와 91K개의 고유 분할 마스크에서 도출된 110만 개의 지시-응답 쌍을 포함하며, 7가지 주요 병변 유형을 포괄합니다. 그 유용성을 실증적으로 입증하기 위해 MIMIC-ILS로 미세 조정된 vision-language 모델인 ROSALIA를 소개합니다. ROSALIA는 사용자 지시에 응답하여 다양한 병변을 분할하고 텍스트 설명을 제공할 수 있습니다. 이 모델은 우리가 새롭게 제안하는 과제에서 높은 분할 및 텍스트 정확도를 달성하여, 우리 파이프라인의 효과성과 픽셀 수준 CXR 병변 기반 구축을 위한 기초 자원으로서 MIMIC-ILS의 가치를 부각시킵니다.

1시간 분량의 장편 동영상(강의, 팟캐스트, 다큐멘터리 등)의 확산은 효율적인 콘텐츠 구조화에 대한 수요를 가속화하고 있습니다. 그러나 기존 접근법들은 일반적으로 짧고 개략적인 주석 데이터를 바탕으로 소규모로 훈련되어 왔기 때문에, 장편 동영상 내 미묘한 전환 지점을 일반화하는 데 한계가 있었습니다. 본 연구에서는 100만 개 이상의 장편 동영상 챕터로 훈련된 최초의 대규모 비디오 챕터 분할 모델인 ARC-Chapter를 소개합니다. 이 모델은 양국어(Bilingual)로 구성되고 시간적 근거(Temporally Grounded)를 가지며 계층적(Hierarchical)인 챕터 주석 데이터를 특징으로 합니다. 이를 위해 우리는 ASR(자동 음성 인식) 기록, 영상 내 텍스트, 시각적 설명문을 통합하여 간단한 제목부터 긴 요약까지 다단계 주석을 생성하는 구조화된 파이프라인을 통해 영중 양국어 챕터 데이터셋을 구축했습니다. 데이터 규모(양)와 라벨 강도(질)가 증가함에 따라 성능이 명확하게 향상됨을 입증했습니다. 또한, 다대일 세그먼트 중첩과 의미적 유사도를 함께 고려하는 새로운 평가 지표 GRACE를 설계하여 실제 챕터 분할 작업의 유연성을 더 잘 반영하도록 했습니다. 폭넓은 실험을 통해 ARC-Chapter가 기존 최고 성능을 F1 점수 기준 14.0%, SODA 점수 기준 11.3% 크게 앞지르는 새로운 최첨단(state-of-the-art) 성과를 달성함을 입증했습니다. 더 나아가, ARC-Chapter는 YouCook2 데이터셋의 조밀한 비디오 설명(Dense Video Captioning)과 같은 다운스트림 작업에서도 최고 성능을 향상시키는 탁월한 전이 가능성을 보여주었습니다.

MHR은 ATLAS의 분리된 골격/형상 패러다임과 Momentum 라이브러리에서 영감을 받은 유연한 현식 리그 및 포즈 보정 시스템을 결합한 파라메트릭 인체 모델을 제안합니다. 우리의 모델은 비선형 포즈 보정을 지원하며, 표현력이 풍부하고 해부학적으로 타당한 인간 애니메이션을 가능하게 하며, AR/VR 및 그래픽스 파이프라인에 견고하게 통합되도록 설계되었습니다.

우리는 다중모달 디퓨전 모델을 위한 새로운 퓨전 패러다임인 MoS(State Mixture)를 소개한다. MoS는 유연한 상태 기반 상호작용을 통해 모달리티를 융합한다. MoS의 핵심은 학습 가능한 토큰 단위 라우터로, 이는 모달리티 간 은닉 상태의 디노이징 타임스텝 및 입력 의존적 상호작용을 생성하여 토큰 수준 특징을 디퓨전 경로와 정확히 정렬한다. 이 라우터는 상위 k개 은닉 상태를 희소하게 선택하며 ε-그리디 전략으로 학습되어, 최소의 학습 매개변수와 무시할 수 있는 계산 오버헤드로 컨텍스트 특징을 효율적으로 선택한다. 우리는 텍스트-이미지 생성(MoS-Image) 및 편집(MoS-Editing)을 통해 설계를 검증하였으며, 이들은 최첨단 성능을 달성했다. 단 30억에서 50억 개의 매개변수만으로 우리 모델은 최대 4배 큰 경쟁 모델들을 능가하거나 동등한 성능을 보인다. 이러한 결과는 MoS가 다중모달 디퓨전 모델의 확장을 위한 유연하고 계산 효율적인 패러다임임을 입증한다.

구현된 지능(embodied intelligence)이 인공지능 연구의 핵심 프론티어로 부상함에 따라, 시뮬레이션 플랫폼은 저수준 물리적 상호작용을 넘어 복잡하고 인간 중심적인 사회적 행동을 포착할 수 있도록 진화해야 합니다. 본 연구에서는 의도와 사회적 인지 이론에 기반하여, 고수준 행동 계획 및 의미론적으로 기반한 상호작용을 위해 대규모 언어 모델(LLM)을 통합한 상호작용형 시뮬레이션 프레임워크인 FreeAskWorld를 소개합니다. 본 프레임워크는 확장 가능하고 현실적인 인간-에이전트 시뮬레이션을 지원하며, 다양한 구현 작업에 맞춤화된 모듈형 데이터 생성 파이프라인을 포함합니다. 본 프레임워크의 타당성을 검증하기 위해, 우리는 기존의 시각 및 언어 내비게이션(VLN) 과제를 상호작용이 풍부한 '방향 질의' 설정으로 확장합니다. 여기서 에이전트는 능동적으로 탐색 안내를 구하고 해석할 수 있습니다. 우리는 재구성된 환경, 6가지 다양한 작업 유형, 16개의 핵심 객체 범주, 63,429개의 주석이 달린 샘플 프레임, 17시간 이상의 상호작용 데이터를 포함하여 구현 AI 시스템의 훈련과 평가를 지원하는 대규모 벤치마크 데이터셋인 FreeAskWorld를 공개합니다. 우리는 오픈 루프와 클로즈드 루프 설정 하에서 VLN 모델과 인간 참가자에 대한 벤치마크를 수행합니다. 실험 결과, FreeAskWorld 데이터로 미세 조정된 모델들이 원본 모델 대비 향상된 의미 이해와 상호작용 능력을 달성하며 우수한 성능을 보여줍니다. 이러한 결과는 사회적 기반을 가진 시뮬레이션 프레임워크가 구현 AI 시스템을 정교한 고수준 계획 및 더욱 자연스러운 인간-에이전트 상호작용으로 발전시키는 데 효과적임을 입증합니다. 무엇보다도, 본 연구는 상호작용 그 자체가 추가적인 정보 양식(modality)으로 기능함을 강조합니다.

고밀도 특징 매칭은 3D 장면의 두 이미지 간 모든 대응 관계를 추정하는 것을 목표로 하며, 높은 정확도와 강건성으로 인해 최근 표준 방법으로 자리잡았습니다. 그러나 기존 고밀도 매칭 방법들은 여전히 많은 까다로운 실제 시나리오에서 실패하거나 성능이 낮으며, 고정밀 모델들은 종종 속도가 느려 적용 가능성이 제한됩니다. 본 논문에서는 이러한 약점을 광범위하게 해결하기 위해 체계적인 개선 사항들을 제시하며, 이를 종합하여 상당히 향상된 모델을 구현합니다. 특히, 우리는 새로운 매칭 아키텍처와 손실 함수를 구성하고, 이를 신중하게 선별된 다양한 훈련 데이터 분포와 결합하여 모델이 많은 복잡한 매칭 작업을 해결할 수 있도록 합니다. 또한, 분리된 2단계 매칭-세밀화 파이프라인을 통해 훈련 속도를 높이고, 동시에 맞춤형 CUDA 커널을 통해 세밀화 단계의 메모리 사용량을 크게 줄입니다. 마지막으로, 최근의 DINOv3 기초 모델과 여러 다른 통찰력을 활용하여 모델을 더욱 강건하고 편향되지 않게 개선합니다. 광범위한 실험을 통해 우리의 새로운 매처가 기존 방법들보다 훨씬 정확하여 새로운 최첨단 기술을 정립함을 입증합니다. 코드는 https://github.com/Parskatt/romav2에서 확인할 수 있습니다.

생성형 음악 AI의 최근 발전은 놀라운 정확도와 스타일 다양성을 달성했으나, 이러한 시스템들은 사용하는 특정 손실 함수로 인해 미묘한 인간의 선호도와 일치하지 못하는 경우가 많습니다. 본 논문은 음악 생성에 대한 선호도 정렬 기법의 체계적 적용을 주장하며, 계산적 최적화와 인간의 음악적 감상 사이의 근본적 격차를 해소하고자 합니다. MusicRL의 대규모 선호도 학습, DiffRhythm+의 확산 기반 선호도 최적화와 같은 다중 선호도 정렬 프레임워크, Text2midi-InferAlign과 같은 추론 시점 최적화 기법 등 최근의 획기적 발전을 바탕으로, 이러한 기법들이 음악의 고유한 과제인 시간적 일관성, 화성적 일관성, 주관적 품질 평가를 어떻게 해결할 수 있는지 논의합니다. 우리는 장편 구성으로의 확장성, 선호도 모델링의 신뢰성 등을 포함한 주요 연구 과제를 확인합니다. 전망적으로, 선호도가 정렬된 음악 생성이 인터랙티브 작곡 도구 및 맞춤형 음악 서비스에서 혁신적 응용 프로그램을 가능하게 할 것으로 기대합니다. 본 연구는 인간의 창의적·경험적 요구에 진정으로 부응하는 음악 AI 시스템을 만들기 위해 기계 학습과 음악 이론의 발전을 결합한 지속적 학제간 연구의 필요성을 촉구합니다.

우리는 end-to-end 학습 가능한 프레임워크 내에서 기본 해상도의 공간 및 텍스트 프롬프트를 지원하는 의료 영상 분할 기초 모델인 Medal S를 소개한다. 공간 인식이 부족한 텍스트 전용 방법론과 달리, Medal S는 볼류메트릭 프롬프트와 텍스트 임베딩 간의 채널 단위 정렬을 통해 해상도 불일치로 인한 오류를 완화한다. 완전한 3D 컨텍스트를 보존함으로써 여러 기본 해상도 마스크를 병렬로 효율적으로 처리하여 다중 클래스 분할 성능을 향상시킨다. 경량 3D 컨볼루션 모듈은 두 프롬프트 유형의 지도를 받아 복셀 공간에서 정밀한 정제를 가능하게 하며, BiomedSegFM 데이터셋의 CT, MRI, PET, 초음파, 현미경 영상에 걸쳐 최대 243개 클래스를 지원한다. Medal S는 두 가지 프롬프트 모드를 제공한다: 인간 입력 없이 모델 예측 결과를 공간 프롬프트로 활용하여 자체 정제를 수행하는 텍스트 전용 모드와, 수동 주석을 통합하여 유연성을 높인 하이브리드 모드이다. 24개 클래스 분할 작업에서 병렬 공간 프롬프팅은 순차적 프롬프팅 대비 추론 시간을 90% 이상 단축한다. 우리는 대상-패치 비율 불균형 문제를 해결하기 위해 동적 리샘플링을 제안하고, SAT와 nnU-Net을 확장하여 데이터 증강을 수행한다. 또한 메모리 효율성, 정밀도 및 추론 속도 향상을 위해 최적화된 텍스트 전처리, 2단계 추론 전략, 후처리 기법을 개발하였다. 검증 세트에서 5가지 영상 방식 평균에 대해, Medal S는 DSC 75.44(SAT 69.83 대비), NSD 77.34(71.06 대비), F1 38.24(24.88 대비), DSC TP 65.46(46.97 대비)로 SAT를 능가하였다. Medal S는 공간 정밀도와 의미론적 텍스트 지도를 조화롭게 통합하여 순차적 프롬프트 기반 접근법 대비 다중 클래스 의료 영상 분할 작업에서 우수한 효율성과 정확도를 입증하였다. Medal S는 https://github.com/yinghemedical/Medal-S에서 공개될 예정이다.