AI 연구 논문 데일리

비전 인코더는 일반적으로 다수의 시각적 토큰을 생성하여 정보가 풍부한 표현을 제공하지만, 이는 계산 부담을 크게 증가시킵니다. 이는 생성된 모든 토큰이 동일한 가치를 지니는지, 아니면 일부를 제거하여 계산 비용을 줄이면서도 품질을 저하시키지 않을 수 있는지에 대한 질문을 제기합니다. 본 논문에서는 덜 중요한 특징은 더 중요한 특징으로부터 재구성될 수 있다는 아이디어를 바탕으로 특징 유용성을 결정하는 새로운 방법을 소개합니다. 우리는 이 개념을 오토인코더와 Gumbel-Softmax 선택 메커니즘을 통합하여 구현함으로써, 가장 유익한 시각적 토큰만을 식별하고 유지할 수 있도록 합니다. 우리의 접근 방식을 검증하기 위해, 우리의 방법으로 선택된 특징을 사용한 LLaVA-NeXT 모델의 성능을 무작위로 선택된 특징을 사용한 경우와 비교했습니다. OCR 기반 작업에서는 시각적 컨텍스트의 50% 이상을 제거해도 성능 저하가 최소화되는 반면, 동일한 비율의 특징을 무작위로 제거하면 모델의 성능이 크게 저하되는 것을 발견했습니다. 또한, 일반 도메인 작업에서는 토큰의 30%만 무작위로 유지하더라도 전체 시각적 토큰을 사용한 경우와 비슷한 성능을 달성할 수 있었습니다. 우리의 결과는 성능 저하 없이 확장 가능하고 낮은 오버헤드의 추론을 가능하게 하는 적응적이고 효율적인 다중모드 프루닝(multimodal pruning) 방향을 제시합니다.

멀티모달 과학 문제(MSPs)는 텍스트와 다이어그램과 같은 여러 모달리티의 통합을 요구하는 복잡한 문제를 포함하며, 이는 인공지능 분야에서 상당한 도전 과제로 남아 있습니다. 전통적인 과학 문제 해결에서는 진전이 있었지만, MSPs는 여전히 두 가지 주요 문제에 직면해 있습니다: 과학 문제 해결에서의 멀티모달 종합적 추론의 어려움과 반성 및 재고 능력의 부족이 그것입니다. 이러한 문제를 해결하기 위해, 우리는 Big Seven Personality와 소크라테스적 지도를 기반으로 한 다중 에이전트 프레임워크(MAPS)를 소개합니다. 이 프레임워크는 피드백 메커니즘과 소크라테스 방법을 활용하여 MSPs 해결을 안내하는 7개의 독특한 에이전트를 사용합니다. 첫 번째 문제를 해결하기 위해, 우리는 문제 해결 과정의 특정 단계에 초점을 맞춘 점진적인 4단계 에이전트 해결 전략을 제안합니다. 두 번째 문제를 해결하기 위해, 우리는 소크라테스적 질문에서 영감을 받은 비평가(Critic) 에이전트를 도입하여 비판적 사고를 촉진하고 자율 학습을 자극합니다. 우리는 EMMA, Olympiad, MathVista 데이터셋에 대해 광범위한 실험을 수행하여 모든 작업에서 현재 SOTA 모델을 15.84% 능가하는 유망한 결과를 달성했습니다. 동시에, 추가적인 분석 실험을 통해 모델의 진전과 일반화 능력도 검증했습니다.

긴 문맥의 효율적 처리는 자연어 처리 분야에서 지속적으로 추구되어 온 과제입니다. 장문의 문서, 대화 및 기타 텍스트 데이터가 점점 더 많아짐에 따라, 광범위한 입력을 효과적이고 효율적으로 처리하고 분석할 수 있는 장문맥 언어 모델(Long Context Language Models, LCLMs)을 개발하는 것이 중요해졌습니다. 본 논문에서는 대규모 언어 모델을 위한 장문맥 모델링의 최신 연구 동향을 포괄적으로 조사합니다. 우리의 조사는 세 가지 핵심 측면을 중심으로 구성됩니다: 효과적이고 효율적인 LCLMs를 얻는 방법, LCLMs를 효율적으로 훈련하고 배포하는 방법, 그리고 LCLMs를 포괄적으로 평가하고 분석하는 방법. 첫 번째 측면에서는 장문맥 처리를 위한 데이터 전략, 아키텍처 설계 및 워크플로 접근 방식을 논의합니다. 두 번째 측면에서는 LCLM 훈련 및 추론에 필요한 인프라를 자세히 검토합니다. 세 번째 측면에서는 장문맥 이해와 장문 생성에 대한 평가 패러다임과 LCLMs의 행동 분석 및 메커니즘 해석 가능성을 제시합니다. 이 세 가지 핵심 측면을 넘어, 기존 LCLMs가 배포된 다양한 응용 시나리오를 철저히 탐구하고 미래의 유망한 발전 방향을 제시합니다. 본 조사는 장문맥 LLMs에 관한 최신 문헌을 최신 상태로 검토하며, 연구자와 엔지니어 모두에게 유용한 자료가 되기를 바랍니다. 최신 논문과 저장소를 수집한 관련 GitHub 저장소는 다음에서 확인할 수 있습니다: https://github.com/LCLM-Horizon/A-Comprehensive-Survey-For-Long-Context-Language-Modeling{\color[RGB]{175,36,67}{LCLM-Horizon}}.

대규모 언어 모델의 기본 질의응답 형식은 프롬프트를 입력하고 응답을 받는 것으로, 프롬프트의 질이 응답의 효과에 직접적인 영향을 미칩니다. 자동 프롬프트 최적화(Automated Prompt Optimization, APO)는 수동으로 설계된 프롬프트의 인지적 편향에서 벗어나 더 넓은 프롬프트 설계 공간을 탐구하는 것을 목표로 합니다. 그러나 기존 APO 방법은 고정된 템플릿의 제한된 유연성과 프롬프트 공간에서의 비효율적인 탐색이라는 주요 문제를 안고 있습니다. 이를 해결하기 위해, 우리는 소크라테스 지도를 통합한 다중 에이전트 프레임워크(Multi-Agent framework Incorporating Socratic guidance, MARS)를 제안합니다. MARS는 다중 에이전트 융합 기술을 활용해 자동 계획을 수행하며, 점진적이고 지속적인 최적화와 평가를 보장합니다. 구체적으로, MARS는 각각 고유한 기능을 가진 7개의 에이전트로 구성되어 있으며, 이들은 Planner를 자율적으로 사용해 유연성을 보장하는 최적화 경로를 설계합니다. 또한, Teacher-Critic-Student 소크라테스 대화 패턴을 활용해 프롬프트를 반복적으로 최적화하면서 효과적인 탐색을 수행합니다. 우리는 다양한 데이터셋에서 광범위한 실험을 통해 이 방법의 효과를 검증하고, 추가 분석 실험을 통해 모델의 발전과 해석 가능성을 평가합니다.

효과적인 실체화된 다중 에이전트 시스템 설계는 다양한 도메인에서 복잡한 현실 세계 문제를 해결하는 데 중요합니다. 실체화된 다중 에이전트 시스템의 복잡성으로 인해, 기존 방법들은 이러한 시스템을 위한 안전하고 효율적인 훈련 데이터를 자동으로 생성하는 데 실패하고 있습니다. 이를 위해, 우리는 실체화된 다중 에이전트 시스템을 위한 구성적 제약(constraints) 개념을 제안하여, 실체화된 에이전트 간의 협업에서 발생하는 문제를 해결하고자 합니다. 우리는 다양한 유형의 제약에 맞춰 다양한 인터페이스를 설계하여 물리적 세계와의 원활한 상호작용을 가능하게 합니다. 구성적 제약과 특별히 설계된 인터페이스를 활용하여, 우리는 실체화된 다중 에이전트 시스템을 위한 자동화된 데이터 수집 프레임워크를 개발하고, 실체화된 다중 에이전트 조작을 위한 첫 번째 벤치마크인 RoboFactory를 소개합니다. RoboFactory 벤치마크를 기반으로, 우리는 모방 학습(imitation learning) 방법을 적용하고 다양한 난이도의 에이전트 작업에서의 성능을 분석했습니다. 더 나아가, 우리는 안전하고 효율적인 실체화된 다중 에이전트 시스템을 구축하기 위해 다중 에이전트 모방 학습을 위한 아키텍처와 훈련 전략을 탐구합니다.

창의적 글쓰기 작업은 단일한 정답이 존재하지 않기 때문에, 이러한 작업을 수행하도록 훈련된 대형 언어 모델(LLMs)은 다양한 유효한 출력을 생성할 수 있어야 합니다. 그러나 LLM의 사후 훈련은 주로 생성 품질을 개선하는 데 초점을 맞추는 반면, 출력 다양성을 촉진하는 데는 소홀히 하는 경향이 있습니다. 따라서 창의적 글쓰기 생성에서 우리는 출력 다양성과 품질을 모두 증진시키기 위한 사후 훈련 접근법을 연구합니다. 우리의 핵심 아이디어는 훈련 목표에 편차(deviation) -- 동일한 프롬프트를 가진 모든 다른 샘플들과의 차이 정도 --를 포함시켜 희귀한 고품질 인스턴스로부터 학습을 촉진하는 것입니다. 우리는 직접 선호 최적화(Direct Preference Optimization, DPO)와 승산비 선호 최적화(Odds Ratio Preference Optimization, ORPO)에 우리의 접근법을 적용함으로써, 훈련된 모델의 출력 다양성을 증진시키면서도 품질 저하를 최소화할 수 있음을 입증합니다. 우리의 8B 파라미터를 가진 최고 모델은 인간이 생성한 데이터셋과 동등한 수준의 다양성을 달성하면서도, 우리가 검토한 최고의 지시 튜닝 모델인 GPT-4o와 DeepSeek-R1과 유사한 출력 품질을 보였습니다. 우리는 추가적으로 인간 평가, 어블레이션(ablation), 그리고 기존의 다양화 접근법인 DivPO와의 비교를 통해 우리의 접근법을 검증합니다.

자기회귀 시각 생성 모델은 일반적으로 이미지를 순차적으로 예측 가능한 토큰으로 압축하기 위해 토크나이저에 의존합니다. 토큰 표현에는 근본적인 딜레마가 존재합니다: 이산 토큰은 표준 교차 엔트로피 손실을 통해 직관적인 모델링을 가능하게 하지만, 정보 손실과 토크나이저 학습 불안정성을 겪습니다. 반면, 연속 토큰은 시각적 세부 사항을 더 잘 보존하지만, 복잡한 분포 모델링이 필요하여 생성 파이프라인을 복잡하게 만듭니다. 본 논문에서는 이러한 간극을 메우기 위해 연속 토큰의 강력한 표현 능력을 유지하면서도 이산 토큰의 단순한 모델링을 보존하는 TokenBridge를 제안합니다. 이를 위해, 우리는 토크나이저 학습 과정에서 이산화를 분리하여 연속 표현에서 직접 이산 토큰을 얻는 사후 학습 양자화를 도입합니다. 구체적으로, 각 특징 차원을 독립적으로 이산화하는 차원별 양자화 전략과, 결과적으로 큰 토큰 공간을 효율적으로 모델링하는 경량 자기회귀 예측 메커니즘을 결합합니다. 광범위한 실험을 통해 우리의 접근 방식이 연속 방법과 동등한 재구성 및 생성 품질을 달성하면서도 표준 범주형 예측을 사용함을 보여줍니다. 이 연구는 이산과 연속 패러다임을 연결함으로써 두 접근 방식의 장점을 효과적으로 활용할 수 있음을 입증하며, 단순한 자기회귀 모델링을 통해 고품질 시각 생성을 위한 유망한 방향을 제시합니다. 프로젝트 페이지: https://yuqingwang1029.github.io/TokenBridge.

현실적인 3D 전신 대화형 아바타는 AR 분야에서 큰 잠재력을 가지고 있으며, 전자상거래 라이브 스트리밍부터 홀로그래픽 커뮤니케이션까지 다양한 응용 분야가 가능합니다. 생생한 아바타 생성에 있어 3D Gaussian Splatting(3DGS)의 발전에도 불구하고, 기존 방법들은 전신 대화 작업에서 얼굴 표정과 신체 움직임의 세밀한 제어에 어려움을 겪고 있습니다. 또한, 충분한 디테일을 제공하지 못하며 모바일 기기에서 실시간으로 실행할 수 없는 경우가 많습니다. 우리는 다양한 신호로 구동되는 고해상도, 경량화된 3DGS 기반 전신 대화형 아바타인 TaoAvatar를 제안합니다. 우리의 접근 방식은 먼저 가우시안을 바인딩하여 외관을 표현하는 개인화된 의상 인체 파라메트릭 템플릿을 생성하는 것으로 시작합니다. 그런 다음, 복잡한 포즈 의존적 비강체 변형을 처리하기 위해 StyleUnet 기반 네트워크를 사전 학습시킵니다. 이 네트워크는 고주파 외관 디테일을 포착할 수 있지만 모바일 기기에서는 리소스가 너무 많이 소모됩니다. 이를 극복하기 위해, 우리는 증류 기법을 사용하여 비강체 변형을 경량화된 MLP 기반 네트워크로 "구워내고", 디테일을 보완하기 위해 블렌드 셰이프를 개발합니다. 광범위한 실험을 통해 TaoAvatar가 다양한 기기에서 실시간으로 실행되면서도 최신의 렌더링 품질을 달성하며, Apple Vision Pro와 같은 고해상도 스테레오 기기에서 90 FPS를 유지함을 보여줍니다.

최근 DeepSeek-R1에서 보여준 발전은 검증 가능한 보상을 통한 강화 학습(RL)을 통해 대규모 언어 모델(LLMs)에서 자기 검증 및 자기 수정과 같은 정교한 행동을 포함한 복잡한 추론 능력을 달성할 수 있으며, AIME와 같은 도전적인 과제에서 모델 성능을 크게 향상시킬 수 있음을 보여주었습니다. 이러한 발견에 영감을 받아, 본 연구에서는 유사한 추론 능력이 대규모 시각-언어 모델(LVLMs)에 성공적으로 통합될 수 있는지 여부를 조사하고, 도전적인 다중 모드 추론 과제에 미치는 영향을 평가합니다. 우리는 경량 학습 데이터에 대한 지도 미세 조정(SFT)과 강화 학습(RL)을 반복적으로 활용하여 모델 일반화를 더욱 개선하는 접근 방식을 고려합니다. 초기에는 다양한 시각 데이터셋에서 추출한 고품질 이미지 캡션을 사용하여 순수 텍스트 R1 모델에서 추론 능력을 증류했습니다. 이후, 반복적인 RL 훈련을 통해 추론 능력을 더욱 향상시켰으며, 각 반복에서 RL로 개선된 모델이 다음 라운드를 위한 정제된 SFT 데이터셋을 생성했습니다. 이 반복적인 프로세스를 통해 MathVista, MathVerse, MathVision과 같은 도전적인 벤치마크에서 일관되게 향상된 추론 성능을 보이는 LVLM인 OpenVLThinker를 개발했으며, 이는 강력한 시각-언어 추론을 위한 우리의 전략의 잠재력을 입증합니다. 코드, 모델 및 데이터는 https://github.com/yihedeng9/OpenVLThinker에서 확인할 수 있습니다.

다양한 작업에서 인상적인 성능을 보여주고 있음에도 불구하고, 멀티모달 대형 언어 모델(MLLMs)은 시각적 수학 문제 해결, 특히 도형을 정확하게 인지하고 해석하는 데 있어서 아직 그 잠재력을 완전히 발휘하지 못하고 있습니다. 인간의 전형적인 문제 해결 과정에서 영감을 받아, 우리는 도형에서 의미 있는 정보를 추출하는 인지 능력이 후속 추론 과정에 직접적인 영향을 미치기 때문에 중요하다는 가설을 세웠습니다. 이 가설을 검증하기 위해, 우리는 문제 해결 과정에서 사용되는 모든 정보를 네 가지 구성 요소로 분류하고 이를 결합하여 여섯 가지 문제 버전으로 평가할 수 있는 포괄적인 벤치마크인 FlowVerse를 개발했습니다. FlowVerse에 대한 초기 결과는 기존 MLLMs가 도형에서 필수적인 정보와 추론 속성을 추출하고 이러한 시각적 입력을 기반으로 복잡한 추론을 수행하는 데 상당한 한계를 보인다는 것을 나타냅니다. 이에 대응하여, 우리는 인지와 추론을 별도의 단계로 분리하여 각각을 독립적으로 최적화하는 모듈식 문제 해결 파이프라인인 MathFlow를 소개합니다. 현재 MLLMs에서 관찰된 인지적 한계를 고려하여, 우리는 전용 인지 모델로 MathFlow-P-7B를 훈련했습니다. 실험 결과는 MathFlow-P-7B가 다양한 클로즈드 소스 및 오픈 소스 추론 모델과 통합될 때 상당한 성능 향상을 가져온다는 것을 보여줍니다. 이는 MathFlow 파이프라인의 효과성과 다양한 추론 프레임워크와의 호환성을 입증합니다. FlowVerse 벤치마크와 코드는 https://github.com/MathFlow-zju/MathFlow에서 확인할 수 있습니다.

텍스트-투-비디오 생성 분야에서 상당한 진전이 있었음에도 불구하고, 미세한 시공간적 속성에 대한 정밀하고 유연한 제어를 달성하는 것은 비디오 생성 연구에서 여전히 중요한 미해결 과제로 남아 있습니다. 이러한 한계를 해결하기 위해, 우리는 VCtrl(PP-VCtrl로도 불림)이라는 새로운 프레임워크를 소개합니다. 이 프레임워크는 사전 학습된 비디오 확산 모델에 대해 통합된 방식으로 미세한 제어를 가능하게 하도록 설계되었습니다. VCtrl은 Canny 에지, 세그멘테이션 마스크, 인간 키포인트와 같은 다양한 사용자 지정 제어 신호를 사전 학습된 비디오 확산 모델에 통합합니다. 이를 위해 일반화 가능한 조건부 모듈을 사용하여 기본 생성기를 수정하지 않고도 여러 유형의 보조 신호를 균일하게 인코딩할 수 있습니다. 또한, 통합된 제어 신호 인코딩 파이프라인과 희소 잔차 연결 메커니즘을 설계하여 제어 표현을 효율적으로 통합합니다. 포괄적인 실험과 인간 평가를 통해 VCtrl이 제어 가능성과 생성 품질을 효과적으로 향상시킨다는 것을 입증했습니다. 소스 코드와 사전 학습된 모델은 PaddlePaddle 프레임워크를 사용하여 공개적으로 제공되며, http://github.com/PaddlePaddle/PaddleMIX/tree/develop/ppdiffusers/examples/ppvctrl에서 확인할 수 있습니다.

주제에 대한 이미지가 몇 장에 불과하거나 단일 이미지만 존재할 때, 이미지 생성 및 편집을 개인화하는 것은 특히 어려운 과제입니다. 개인화를 위한 일반적인 접근 방식은 개념 학습(concept learning)으로, 이는 주제를 기존 모델에 비교적 빠르게 통합할 수 있지만, 주제 이미지의 수가 적을 경우 생성된 이미지의 품질이 빠르게 저하되는 경향이 있습니다. 품질은 인코더를 사전 학습함으로써 개선할 수 있지만, 학습은 생성 범위를 학습 데이터 분포로 제한하며 시간이 많이 소요됩니다. 학습 없이 단일 이미지로부터 이미지 생성 및 편집을 개인화하는 것은 여전히 해결되지 않은 어려운 과제로 남아 있습니다. 본 연구에서는 입력 주제 이미지와의 유사도 점수를 최적화하는 새로운 학습 없는 접근 방식인 SISO를 제안합니다. 보다 구체적으로, SISO는 주어진 주제 이미지와의 유사도 손실을 기반으로 모델을 최적화하며, 만족스러운 수준의 유사도가 달성될 때까지 이미지를 반복적으로 생성합니다. 이를 통해 어떤 이미지 생성기에도 플러그 앤 플레이 방식으로 최적화를 적용할 수 있습니다. 우리는 SISO를 이미지 편집 및 이미지 생성 두 가지 작업에서 평가했으며, 다양한 개인 주제 데이터 세트를 사용하여 기존 방법 대비 이미지 품질, 주제 충실도, 배경 보존 측면에서 상당한 개선을 입증했습니다.

텍스트 프롬프트와 생성된 비디오 간의 의미론적 정렬을 정확하게 평가하는 것은 텍스트-투-비디오(T2V) 생성 분야에서 여전히 어려운 과제로 남아 있습니다. 기존의 텍스트-투-비디오 정렬 메트릭(예: CLIPScore)은 세밀한 정렬 정보 없이 대략적인 점수만 생성하며, 인간의 선호도와 일치하지 못합니다. 이러한 한계를 해결하기 위해, 우리는 세밀한 질문 생성 및 답변을 통한 텍스트-투-비디오 정렬 평가 방법인 ETVA를 제안합니다. 먼저, 다중 에이전트 시스템이 프롬프트를 의미론적 장면 그래프로 파싱하여 원자적 질문을 생성합니다. 그런 다음, 보조 LLM이 물리 법칙과 같은 관련 상식 지식을 먼저 검색하고, 비디오 LLM이 다단계 추론 메커니즘을 통해 생성된 질문에 답변하는 지식-증강 다단계 추론 프레임워크를 설계합니다. 광범위한 실험을 통해 ETVA는 스피어만 상관 계수 58.47을 달성하여, 기존 메트릭의 31.0에 비해 인간 판단과 훨씬 더 높은 상관 관계를 보여줍니다. 또한, 우리는 텍스트-투-비디오 정렬 평가를 위해 특별히 설계된 포괄적인 벤치마크를 구축했으며, 10개 카테고리에 걸친 2,000개의 다양한 프롬프트와 12,000개의 원자적 질문을 포함합니다. 15개의 기존 텍스트-투-비디오 모델에 대한 체계적인 평가를 통해, 우리는 이들의 주요 능력과 한계를 식별함으로써 차세대 T2V 생성의 길을 열었습니다.

본 논문에서는 R1 유사 추론 모델의 강화 학습 훈련 효율을 가속화하고, 특히 긴 사고 사슬을 가진 복잡한 추론 과제에서의 성능을 향상시키기 위해 컨텍스트 윈도우 확장 전략을 적용한 간단하면서도 효율적인 커리큘럼 강화 학습 접근법인 \textsc{FastCuRL}을 제안한다. \textsc{FastCuRL}은 주로 두 가지 주요 절차로 구성된다: 길이 인지 훈련 데이터 분할과 컨텍스트 윈도우 확장 훈련. 구체적으로, 전자는 원본 훈련 데이터를 입력 프롬프트 길이에 따라 세 가지 수준으로 분할하고, 후자는 점진적으로 증가하는 컨텍스트 윈도우 길이를 가진 분할된 훈련 데이터셋을 활용하여 추론 모델을 훈련시킨다. 실험 결과, \textsc{FastCuRL}-1.5B-Preview는 DeepScaleR-1.5B-Preview를 MATH 500, AIME 2024, AMC 2023, Minerva Math, OlympiadBench 등 모든 다섯 데이터셋에서 능가하면서도 훈련 단계의 50\%만 사용했다. 또한, FastCuRL-1.5B-Preview의 모든 훈련 단계는 단일 노드와 8개의 GPU만으로 완료되었다.

본 논문에서는 복잡한 경로 탐색 시나리오에서 추출한, 인간이 읽을 수 있는 픽셀 기반 지도를 활용한 야외 내비게이션을 위해 특별히 설계된 첫 번째 데이터셋인 MapBench을 소개합니다. MapBench은 100개의 다양한 지도에서 추출한 1600개 이상의 픽셀 공간 지도 경로 탐색 문제로 구성되어 있습니다. MapBench에서는 LVLM(Large Vision-Language Model)이 지도 이미지와 시작 및 종료 지점이 포함된 쿼리가 주어졌을 때 언어 기반 내비게이션 지시문을 생성합니다. 각 지도에 대해 MapBench은 자연어와 LVLM 생성 결과 간의 변환 및 평가를 위한 인덱싱 데이터 구조인 Map Space Scene Graph(MSSG)를 제공합니다. 우리는 MapBench가 최신 LVLM 모델들에게 zero-shot 프롬프팅과 지도 내비게이션을 순차적 인지 과정으로 분해하는 Chain-of-Thought(CoT) 강화 추론 프레임워크를 통해 상당한 도전 과제를 제시함을 입증합니다. 오픈소스 및 클로즈드소스 LVLM 모델들에 대한 평가 결과, MapBench가 이들의 공간 추론 및 구조화된 의사결정 능력에 있어 중요한 한계를 드러내는 것을 확인했습니다. 모든 코드와 데이터셋은 https://github.com/taco-group/MapBench에서 공개합니다.

대형 시각-언어 모델(LVLMs)은 시각적 이해와 언어 생성을 결합하는 데 있어 상당한 진전을 이루었습니다. 그러나 이러한 성공에도 불구하고, LVLMs의 학습 데이터는 여전히 장기 꼬리(Long-Tail, LT) 문제로 인해 데이터 분포가 심각하게 불균형한 상태입니다. 기존 연구들은 주로 CLIP나 ViT와 같은 전통적인 VLM 아키텍처와 인식 및 분류와 같은 특정 작업에 초점을 맞추어 왔습니다. 반면, LVLM(예: LLaVA)과 더 일반적인 작업(예: 시각적 질문 응답 및 시각적 추론)에 대한 탐구는 아직 미흡한 상태입니다. 본 논문에서는 먼저 LVLMs의 LT 문제를 심층적으로 분석하고, 두 가지 핵심 원인을 규명합니다: 주요 개념의 과다 표현과 소수 개념의 과소 표현. 이러한 관찰을 바탕으로, 우리는 적응형 데이터 정제 프레임워크(Adaptive Data Refinement Framework, ADR)를 제안합니다. ADR은 데이터 재균형(Data Rebalancing, DR)과 데이터 합성(Data Synthesis, DS) 두 단계로 구성됩니다. DR 단계에서는 엔티티 분포를 기반으로 중복 데이터를 적응적으로 재균형화하며, DS 단계에서는 디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models, DDPMs)과 부족한 이미지를 활용하여 과소 표현된 부분을 보완합니다. 11개의 벤치마크에 걸친 포괄적인 평가를 통해, 우리가 제안한 ADR은 학습 데이터의 장기 꼬리 문제를 효과적으로 완화하며, LLaVA 1.5의 평균 성능을 상대적으로 4.36% 향상시켰습니다. 이는 학습 데이터 양을 증가시키지 않고 달성한 결과입니다.

암묵적 편향(Implicit bias)은 인식, 판단 및 행동을 형성하는 자동적 또는 자발적 정신 과정을 의미한다. 대형 언어 모델(LLM)에서의 '암묵적 편향'을 조사한 기존 연구는 주로 모델의 출력에 초점을 맞추어 인간에서 연구되는 방식과는 다르게 접근해왔다. 모델의 처리 과정을 조사하기 위해, 우리는 복잡한 작업을 해결하기 위해 단계별 추론을 사용하는 LLM인 추론 모델에서 암묵적 편향과 유사한 패턴을 연구하기 위한 방법인 추론 모델 암묵적 연합 테스트(Reasoning Model Implicit Association Test, RM-IAT)를 제안한다. 이 방법을 사용하여, 우리는 추론 모델이 연합-비호환 정보를 처리할 때 연합-호환 정보를 처리할 때보다 더 많은 토큰을 필요로 한다는 것을 발견했다. 이러한 발견은 AI 시스템이 인간의 암묵적 편향과 유사한 정보 처리 패턴을 가지고 있음을 시사한다. 우리는 이러한 암묵적 편향과 유사한 패턴이 실제 애플리케이션에서의 배치에 미치는 영향에 대해 고려한다.

비디오 대형 언어 모델(ViLLMs)은 일반적인 비디오 이해, 예를 들어 말하기와 먹기와 같은 활동 인식에서는 뛰어난 성능을 보이지만, "윌슨이 화학 요법을 받고 있다" 또는 "톰이 사라와 이야기하고 있다"와 같은 정체성 인지 이해에서는 어려움을 겪습니다. 이는 스마트 헬스케어 및 스마트 홈 환경에서의 적용 가능성을 제한합니다. 이러한 한계를 해결하기 위해, 우리는 각 주체에 대해 단일 비디오로부터 주체 인지 질의응답(QA)을 가능하게 하는 최초의 개인화된 ViLLM인 PVChat이라는 원샷 학습 프레임워크를 제안합니다. 우리의 접근 방식은 합성적으로 증강된 비디오-QA 데이터셋에서 Mixture-of-Heads(MoH) 강화 ViLLM을 최적화하며, 점진적인 이미지-투-비디오 학습 전략을 활용합니다. 구체적으로, 우리는 정체성 보존 양성 샘플을 합성하고 기존 비디오 코퍼스에서 어려운 음성 샘플을 검색하는 자동화된 증강 파이프라인을 도입하여, 존재, 외모, 행동, 위치 질문 등 네 가지 QA 유형을 포함한 다양한 학습 데이터셋을 생성합니다. 주체 특정 학습을 강화하기 위해, 우리는 ReLU Routing MoH 주의 메커니즘과 두 가지 새로운 목표를 제안합니다: (1) 지수 거리 스케일링을 통한 점진적 학습을 위한 Smooth Proximity Regularization 및 (2) 균형 잡힌 주의 라우팅을 위한 Head Activation Enhancement. 마지막으로, 우리는 정적 속성에서 동적 표현으로의 점진적 학습 과정을 가능하게 하는 이미지 사전 학습에서 비디오 미세 조정으로의 전환을 포함한 두 단계 학습 전략을 채택합니다. 우리는 PVChat을 의료 시나리오, TV 시리즈, 애니메이션 및 실제 영상을 포함한 다양한 데이터셋에서 평가하며, 단일 비디오 학습 후 개인화된 특징 이해에서 최신 ViLLMs 대비 우수성을 입증합니다.

이미지 지리적 위치 파악(Image Geolocalization)은 전통적으로 AI 모델이 이미지의 정확한 GPS 좌표를 예측하는 도전적인 작업으로, 다양한 다운스트림 애플리케이션에서 활용됩니다. 그러나 사용자는 GPS 좌표 외에 모델을 통해 추가적인 지식을 얻을 수 없으며, 모델은 위치에 대한 이해와 사용자와 대화할 수 있는 능력이 부족합니다. 최근에는 대규모 멀티모달 모델(LMMs)의 엄청난 발전과 함께, 독점 및 오픈소스 연구자들이 LMMs를 통해 이미지를 지리적으로 위치 파악하려는 시도를 해왔습니다. 그러나 이러한 문제는 여전히 해결되지 않았으며, 일반적인 작업을 넘어 지리적 위치 파악과 같은 더 전문화된 다운스트림 작업에서 LMMs는 어려움을 겪습니다. 본 연구에서는 사용자의 요구에 따라 이미지의 위치에 대한 정보를 제공할 수 있는 대화형 모델 GAEA를 제안하여 이 문제를 해결하고자 합니다. 이러한 모델을 훈련시킬 수 있는 대규모 데이터셋은 존재하지 않습니다. 따라서 우리는 OpenStreetMap(OSM) 속성과 지리적 맥락 단서를 활용하여 800K 이미지와 약 1.6M 질문-답변 쌍으로 구성된 포괄적인 데이터셋 GAEA를 제안합니다. 정량적 평가를 위해, 다양한 질문 유형을 갖춘 대화 능력을 평가할 수 있는 4K 이미지-텍스트 쌍으로 구성된 다양한 벤치마크를 제안합니다. 우리는 11개의 최신 오픈소스 및 독점 LMMs를 고려하고, GAEA가 최고의 오픈소스 모델인 LLaVA-OneVision보다 25.69%, 최고의 독점 모델인 GPT-4o보다 8.28% 우수한 성능을 보임을 입증합니다. 우리의 데이터셋, 모델 및 코드는 공개되어 있습니다.

최근 몇 년 동안 이미지 생성 분야, 특히 모델을 보편적인 인간 선호도와 맞추는 미세 조정 방법에서 상당한 발전이 이루어졌다. 본 논문은 확산 모델의 학습 과정에서 선호 데이터의 중요한 역할, 특히 Diffusion-DPO와 그 후속 적응 사례를 중심으로 탐구한다. 우리는 이미지 생성에서의 보편적인 인간 선호도를 둘러싼 복잡성을 조사하며, 이러한 선호도의 주관적 특성과 선호 데이터셋 내 소수 샘플이 제기하는 문제점을 강조한다. 파일럿 실험을 통해 소수 샘플의 존재와 이들이 모델 성능에 미치는 부정적인 영향을 입증한다. 우리는 Adaptive-DPO라는 새로운 접근 방식을 제안하는데, 이는 DPO 목적 함수에 소수 인스턴스 인식 메트릭을 통합한다. 이 메트릭은 주석자 내 신뢰도와 주석자 간 안정성을 포함하여 다수와 소수 샘플을 구별한다. 우리는 Adaptive-DPO 손실 함수를 도입하여 DPO 손실을 두 가지 방식으로 개선한다: 모델이 다수 레이블을 더 잘 학습하도록 하면서 동시에 소수 샘플의 부정적 영향을 완화한다. 우리의 실험은 이 방법이 합성 소수 데이터와 실제 선호 데이터 모두를 효과적으로 처리함을 보여주며, 이미지 생성 작업에서 더 효과적인 학습 방법론의 길을 열어준다.

최근 마스크를 활용한 3D 얼굴 편집 방법들은 Neural Radiance Fields(NeRF)를 활용하여 고품질의 편집된 이미지를 생성해 왔습니다. 이러한 인상적인 성능에도 불구하고, 기존 방법들은 사전 훈련된 세그멘테이션 마스크를 사용함으로써 제한된 사용자 제어를 제공하는 경우가 많습니다. 원하는 레이아웃의 마스크를 활용하기 위해서는 방대한 양의 훈련 데이터셋이 필요하지만, 이를 수집하는 것은 어려운 과제입니다. 본 논문에서는 고정된 마스크 레이아웃 사용으로 인한 제한된 사용자 제어 문제를 극복할 수 있는 NeRF 기반 얼굴 편집 기술인 FFaceNeRF를 제안합니다. 우리의 방법은 특징 주입을 통한 지오메트리 어댑터를 사용하여 지오메트리 속성을 효과적으로 조작할 수 있도록 합니다. 또한, 적은 수의 샘플로도 훈련이 가능하도록 트라이플레인 증강을 위한 잠재 혼합(latent mixing)을 채택했습니다. 이는 맞춤형 의료 영상이나 창의적인 얼굴 편집과 같은 분야에서 응용하기 위해 원하는 마스크 레이아웃에 빠르게 모델을 적응시키는 데 중요한 요소입니다. 비교 평가 결과, FFaceNeRF는 유연성, 제어력, 생성된 이미지 품질 측면에서 기존의 마스크 기반 얼굴 편집 방법들을 능가하며, 맞춤형 및 고품질 3D 얼굴 편집의 미래 발전을 위한 길을 열어줍니다. 코드는 {https://kwanyun.github.io/FFaceNeRF_page/{프로젝트 페이지}}에서 확인할 수 있습니다.

일반화된 소수 샷 3D 포인트 클라우드 분할(GFS-PCS)은 기존 클래스 분할을 유지하면서 소수의 지원 샘플로 새로운 클래스에 모델을 적응시킵니다. 기존의 GFS-PCS 방법은 지원 또는 쿼리 특징과 상호작용하여 프로토타입을 강화하지만, 소수 샘플로부터 얻은 희소한 지식에 제한을 받습니다. 한편, 3D 비전-언어 모델(3D VLMs)은 오픈 월드의 새로운 클래스에 걸쳐 일반화하며 풍부하지만 노이즈가 많은 새로운 클래스 지식을 포함합니다. 본 연구에서는 3D VLMs에서 얻은 밀도는 높지만 노이즈가 있는 의사 레이블과 정확하지만 희소한 소수 샘플을 결합하여 두 가지의 강점을 극대화하는 GFS-PCS 프레임워크인 GFS-VL을 소개합니다. 구체적으로, 저품질 영역을 필터링하기 위한 프로토타입 기반 의사 레이블 선택을 제안하고, 의사 레이블 컨텍스트와 소수 샘플의 지식을 결합하여 필터링된 레이블 없는 영역을 적응적으로 레이블링하는 적응형 채우기 전략을 제시합니다. 또한, 새로운 클래스 학습을 개선하기 위해 필수적인 컨텍스트를 보존하면서 소수 샘플을 훈련 장면에 통합하는 신규-기반 혼합 전략을 설계합니다. 더불어, 현재 GFS-PCS 벤치마크의 다양성 부족을 인식하여, 포괄적인 일반화 평가를 위한 다양한 새로운 클래스를 포함한 두 가지 도전적인 벤치마크를 소개합니다. 실험을 통해 우리의 프레임워크가 다양한 모델과 데이터셋에서 효과적임을 검증합니다. 우리의 접근 방식과 벤치마크는 현실 세계에서 GFS-PCS를 발전시키기 위한 견고한 기반을 제공합니다. 코드는 https://github.com/ZhaochongAn/GFS-VL에서 확인할 수 있습니다.