번역이 포함된 일일 선별된 AI 연구 논문
확산 기반 대형 언어 모델(dLLM)은 최근 병렬 디코딩과 양방향 모델링을 통해 더 빠른 추론과 높은 상호작용성을 제공하며, 자기회귀적 LLM의 강력한 대안으로 부상했습니다. 그러나 코드 생성과 텍스트 채우기에서 강력한 성능을 보임에도 불구하고, 우리는 근본적인 안전 문제를 확인했습니다: 기존의 정렬 메커니즘은 맥락을 인지하는 마스크 입력 적대적 프롬프트에 대해 dLLM을 보호하지 못해 새로운 취약점을 노출시킵니다. 이를 위해, 우리는 dLLM의 고유한 안전 취약점을 활용한 첫 번째 체계적인 연구이자 탈옥 공격 프레임워크인 DIJA를 제안합니다. 구체적으로, 우리가 제안한 DIJA는 dLLM의 텍스트 생성 메커니즘, 즉 양방향 모델링과 병렬 디코딩을 활용하는 적대적 교차 마스크-텍스트 프롬프트를 구성합니다. 양방향 모델링은 모델이 유해한 경우에도 마스크된 부분에 대해 맥락적으로 일관된 출력을 생성하도록 유도하며, 병렬 디코딩은 모델의 동적 필터링과 안전하지 않은 콘텐츠에 대한 거부 샘플링을 제한합니다. 이로 인해 표준 정렬 메커니즘이 실패하여, 프롬프트에서 직접 유해한 행동이나 안전하지 않은 지시가 노출된 경우에도 정렬된 dLLM에서 유해한 완성이 가능해집니다. 포괄적인 실험을 통해, 우리는 DIJA가 기존의 탈옥 방법을 크게 능가하며, dLLM 아키텍처에서 이전에 간과된 위협 표면을 드러냄을 입증했습니다. 특히, 우리의 방법은 Dream-Instruct에서 키워드 기반 ASR(Attack Success Rate) 최대 100%를 달성했으며, JailbreakBench에서 평가자 기반 ASR 기준으로 가장 강력한 기존 베이스라인인 ReNeLLM을 최대 78.5% 능가했고, StrongREJECT 점수에서 37.7점 높은 성능을 보였습니다. 이는 탈옥 프롬프트에서 유해한 콘텐츠를 재작성하거나 숨길 필요 없이 달성되었습니다. 우리의 연구 결과는 이 새로운 유형의 언어 모델에서 안전 정렬을 재고할 필요성이 시급함을 강조합니다. 코드는 https://github.com/ZichenWen1/DIJA에서 확인할 수 있습니다.
러시아어 음성 합성은 모음 약화, 자음 무성음화, 가변적인 강세 패턴, 동형이의어 모호성, 부자연스러운 억양 등 독특한 과제를 안고 있습니다. 본 논문은 2,000시간 이상의 스튜디오 품질의 러시아어 음성과 구두점 및 강세 표시를 포함한 포괄적인 텍스트 주석으로 구성된 새로운 데이터셋인 Balalaika를 소개합니다. 실험 결과, Balalaika로 훈련된 모델은 기존 데이터셋으로 훈련된 모델보다 음성 합성 및 향상 작업에서 크게 우수한 성능을 보였습니다. 우리는 데이터셋 구축 파이프라인, 주석 방법론, 그리고 비교 평가 결과를 상세히 설명합니다.
우리는 Franca(프랑카, '자유로운 자'라는 의미)를 소개합니다: 이는 최초의 완전 오픈소스(데이터, 코드, 가중치) 비전 파운데이션 모델로, DINOv2, CLIP, SigLIPv2 등 최첨단 독점 모델들의 성능을 따라잡고 많은 경우 이를 능가합니다. 우리의 접근 방식은 Web-SSL에서 영감을 받은 투명한 학습 파이프라인에 기반을 두며, 공개적으로 이용 가능한 데이터인 ImageNet-21K와 ReLAION-2B의 부분집합을 사용합니다. 모델 릴리스 외에도, 우리는 SSL 클러스터링 방법의 중요한 한계를 해결합니다. 현대 모델들은 Sinkhorn-Knopp와 같은 클러스터링 알고리즘을 통해 이미지 특징을 대규모 코드북에 할당하는 데 의존하지만, 클러스터링 의미의 본질적인 모호성을 고려하지 못합니다. 이를 해결하기 위해, 우리는 중첩된 마트료시카 표현에 기반한 매개변수 효율적인 멀티헤드 클러스터링 프로젝터를 도입했습니다. 이 설계는 모델 크기를 증가시키지 않으면서 점점 더 세분화된 클러스터로 특징을 정제하여 성능과 메모리 효율성을 모두 달성합니다. 또한, 우리는 새로운 위치 분리 전략을 제안하여 밀집 표현에서 위치 편향을 명시적으로 제거함으로써 의미론적 내용의 인코딩을 개선합니다. 이는 더 깨끗한 특징 공간의 유용성을 입증하며, 여러 다운스트림 벤치마크에서 일관된 성능 향상을 이끌어냅니다. 우리의 기여는 투명하면서도 고성능인 비전 모델의 새로운 기준을 세우고, 더 넓은 AI 커뮤니티를 위해 재현 가능하고 일반화 가능한 파운데이션 모델로 나아가는 길을 열어줍니다. 코드와 모델 체크포인트는 https://github.com/valeoai/Franca에서 이용 가능합니다.
대규모 언어 모델(LLM) 시대에 정렬(alignment)은 더욱 신뢰할 수 있고, 제어 가능하며, 능력 있는 기계 지능을 추구하는 과정에서 근본적이면서도 도전적인 문제로 부상했습니다. 최근 추론 모델과 대화형 AI 시스템의 성공은 이러한 시스템을 강화하는 데 강화 학습(RL)이 중요한 역할을 한다는 점을 부각시켰으며, 이로 인해 RL과 LLM 정렬의 교차점에 대한 연구 관심이 더욱 증가하고 있습니다. 본 논문은 역강화 학습(IRL)의 관점에서 LLM 정렬 분야의 최근 발전을 종합적으로 검토하며, LLM 정렬에 사용되는 RL 기법과 기존 RL 작업에서의 RL 기법 간의 차이점을 강조합니다. 특히, 인간 데이터로부터 신경망 보상 모델을 구축하는 필요성을 강조하고, 이러한 패러다임 전환의 이론적 및 실질적 함의를 논의합니다. 먼저 RL의 기본 개념을 소개하여 해당 분야에 익숙하지 않은 독자들을 위한 기초를 제공합니다. 그런 다음 이 연구 주제의 최근 발전을 살펴보며, LLM 정렬을 위한 IRL 수행 시 주요 도전 과제와 기회를 논의합니다. 방법론적 고려 사항을 넘어, 데이터셋, 벤치마크, 평가 지표, 인프라, 그리고 계산적으로 효율적인 학습 및 추론 기법과 같은 실질적인 측면을 탐구합니다. 마지막으로, 희소 보상 RL에 관한 문헌에서 얻은 통찰을 바탕으로 미해결 문제와 잠재적인 연구 방향을 식별합니다. 다양한 연구 결과를 종합함으로써, 우리는 이 분야에 대한 구조적이고 비판적인 개요를 제공하고, 해결되지 않은 도전 과제를 강조하며, RL과 IRL 기법을 통해 LLM 정렬을 개선하기 위한 유망한 미래 방향을 제시하고자 합니다.
단일 이미지에서 콘텐츠와 스타일을 분리하는 콘텐츠-스타일 분해(CSD)는 추출된 콘텐츠의 재구성과 추출된 스타일의 스타일화를 가능하게 하여 시각적 합성에서 더 큰 창의적 유연성을 제공합니다. 최근의 개인화 방법들은 명시적인 콘텐츠와 스타일의 분해를 탐구했지만, 이들은 여전히 디퓨전 모델에 맞춰져 있습니다. 한편, 시각적 자기회귀 모델링(VAR)은 다음 스케일 예측 패러다임을 통해 디퓨전 모델과 비슷한 성능을 달성하며 유망한 대안으로 부상했습니다. 본 논문에서는 VAR을 CSD를 위한 생성 프레임워크로 탐구하고, 스케일별 생성 프로세스를 활용하여 개선된 분리를 달성합니다. 이를 위해 우리는 CSD-VAR이라는 새로운 방법을 제안하며, 이는 세 가지 주요 혁신을 도입합니다: (1) 콘텐츠와 스타일 표현을 각각의 스케일에 맞춰 분리를 강화하는 스케일 인식 교대 최적화 전략, (2) 콘텐츠가 스타일 표현으로 누출되는 것을 방지하기 위한 SVD 기반 정정 방법, (3) 콘텐츠 정체성 보존을 강화하는 확장 키-값(K-V) 메모리. 이 작업을 벤치마킹하기 위해, 우리는 다양한 주제가 다양한 예술적 스타일로 표현된 CSD-100 데이터셋을 소개합니다. 실험 결과, CSD-VAR은 기존 접근법을 능가하며 우수한 콘텐츠 보존과 스타일화 충실도를 달성함을 보여줍니다.
본 논문은 시각 인코딩과 언어 디코딩을 단일 모델로 통합한 모놀리식 멀티모달 대형 언어 모델(MLLM)에 초점을 맞춥니다. 기존의 모놀리식 MLLM 구조와 사전 학습 전략은 불안정한 최적화와 치명적 망각 문제를 겪는 경우가 많습니다. 이러한 문제를 해결하기 위해, 우리의 핵심 아이디어는 사전 학습된 LLM에 새로운 시각 매개변수 공간을 내장시켜, 델타 튜닝을 통해 노이즈가 있는 데이터로부터 시각 지식을 안정적으로 학습할 수 있도록 하는 것입니다. 이 원리에 기반하여, 우리는 먼저 멀티모달 전문가 혼합(MoE) 아키텍처를 통해 일련의 시각 전문가를 통합한 고급 모놀리식 MLLM인 Mono-InternVL을 소개합니다. 또한, Mono-InternVL의 시각 능력을 극대화하기 위해 점진적 학습을 통한 혁신적인 내생적 시각 사전 학습(Endogenous Visual Pre-training, EViP)을 설계했습니다. Mono-InternVL은 기존 MLLM 대비 경쟁력 있는 성능을 달성했지만, 상대적으로 높은 데이터 비용이 발생합니다. 따라서, 우리는 더 저렴하고 강력한 모놀리식 MLLM인 Mono-InternVL-1.5를 제안하며, 여기에는 개선된 EViP(EViP++)가 적용되었습니다. EViP++는 Mono-InternVL-1.5에 추가적인 시각 주의 전문가를 도입하고, 사전 학습 과정을 효율적으로 재구성합니다. 추론 과정에서는 MoE 연산을 가속화하기 위해 융합된 CUDA 커널을 포함시켰습니다. 이러한 설계를 통해 Mono-InternVL-1.5는 학습 및 추론 비용을 크게 절감하면서도 Mono-InternVL과 경쟁력 있는 성능을 유지합니다. 우리의 접근 방식을 평가하기 위해, 15개의 벤치마크에 걸쳐 광범위한 실험을 수행했습니다. 실험 결과, Mono-InternVL은 15개 벤치마크 중 12개에서 기존 모놀리식 MLLM을 능가했으며, 예를 들어 OCRBench에서 Emu3 대비 +114점의 성능 향상을 보였습니다. 모듈식 대응 모델인 InternVL-1.5와 비교했을 때, Mono-InternVL-1.5는 유사한 멀티모달 성능을 달성하면서 첫 토큰 지연 시간을 최대 69%까지 줄였습니다. 코드와 모델은 https://github.com/OpenGVLab/Mono-InternVL에서 공개되었습니다.
마스킹된 토큰 예측은 언어, 시각, 음성 분야에서 강력한 사전 학습 목표로 부상하며, 이러한 다양한 양식을 단일 사전 학습 작업을 통해 통합할 잠재력을 제공합니다. 그러나 일반 오디오 이해를 위한 적용은 아직 충분히 탐구되지 않았으며, BEATs가 유일한 주목할 만한 사례입니다. BEATs는 오픈소스 사전 학습 코드의 부재로 인해 제한된 수정만 이루어졌습니다. 또한, BEATs는 AudioSet에서만 학습되었기 때문에 더 넓은 하류 작업 적용성이 제한되었습니다. 이러한 격차를 해결하기 위해, 우리는 다중 도메인 오디오 사전 학습을 통해 BEATs를 확장한 오픈소스 프레임워크인 OpenBEATs를 제시합니다. 우리는 오디오 질의 응답, 함의, 캡셔닝과 같은 오디오 추론 작업을 포함하여 여섯 가지 유형의 작업, 스물다섯 개의 데이터셋, 세 가지 오디오 도메인에 걸쳐 포괄적인 평가를 수행했습니다. OpenBEATs는 여섯 개의 생물음향학 데이터셋, 두 개의 환경음 데이터셋, 그리고 다섯 개의 추론 데이터셋에서 최첨단 성능을 달성하며, 10억 개 이상의 파라미터를 가진 모델보다 4분의 1의 파라미터 크기로 더 나은 성능을 보였습니다. 이러한 결과는 다중 도메인 데이터셋과 마스킹된 토큰 예측 작업이 일반적인 목적의 오디오 표현을 학습하는 데 효과적임을 보여줍니다. 추가 연구와 재현성을 촉진하기 위해, 우리는 모든 사전 학습 및 평가 코드, 사전 학습 및 미세 조정된 체크포인트, 그리고 학습 로그를 https://shikhar-s.github.io/OpenBEATs에서 공개합니다.
멀티모달 대형 언어 모델(MLLMs)은 크로스모달 이해에 혁신을 가져왔지만, 시각적 입력과 모순되는 허구적 내용인 환각(hallucination) 문제에 여전히 어려움을 겪고 있습니다. 기존의 환각 완화 방법은 과도한 계산 비용을 초래하거나 훈련 데이터와 모델 출력 간의 분포 불일치를 유발합니다. 우리는 중요한 통찰을 발견했습니다: 환각은 주로 텍스트 생성의 초기 단계에서 발생하며 이후 출력으로 전파됩니다. 이를 해결하기 위해 우리는 **SENTINEL**(**S**entence-level **E**arly i**N**tervention **T**hrough **IN**-domain pr**E**ference **L**earning)이라는 프레임워크를 제안합니다. 이 프레임워크는 인간 주석에 대한 의존성을 제거합니다. 구체적으로, 우리는 먼저 모델 출력을 반복적으로 샘플링하고, 두 개의 오픈 어휘 검출기를 통해 객체 존재를 교차 검증하며, 문장을 환각/비환각 범주로 분류하여 고품질의 도메인 내 선호 쌍을 부트스트랩합니다. 이후, 문맥 일관성이 있는 긍정적 샘플과 환각된 부정적 샘플을 사용하여 문맥 인식 선호 데이터를 반복적으로 구축합니다. 마지막으로, 환각이 처음 나타나는 문장 수준에서 차별적 학습을 강조하는 문맥 인식 선호 손실(C-DPO)을 사용하여 모델을 훈련합니다. 실험 결과는 SENTINEL이 원본 모델 대비 환각을 90% 이상 감소시키고, 환각 벤치마크와 일반 능력 벤치마크 모두에서 이전의 최첨단 방법을 능가하며, 그 우수성과 일반화 능력을 입증합니다. 모델, 데이터셋 및 코드는 https://github.com/pspdada/SENTINEL에서 확인할 수 있습니다.
현대 정보 전달의 주요 매체로서 소셜 네트워크 서비스(SNS)는 급속한 성장을 경험하며 플랫폼 콘텐츠 관리와 상호작용 품질 향상에 상당한 도전을 제시해 왔다. 최근 대규모 언어 모델(LLM)의 발전이 잠재적인 해결책을 제공하고 있지만, 기존 연구는 단일 작업에 초점을 맞추고 있어 개별 시나리오 내 데이터 확장으로 인한 한계를 겪을 뿐만 아니라 다양한 실제 상황에 유연하게 적응하지 못하고 있다. 이러한 문제를 해결하기 위해, 본 연구는 단일 작업 기준선의 성능 병목 현상을 극복하고 SNS를 위한 포괄적인 기반을 마련하기 위해 도메인 특화 LLM인 RedOne을 소개한다. RedOne은 대규모 실제 데이터셋을 사용하여 지속적인 사전 학습, 지도 미세 조정, 선호 최적화로 구성된 3단계 학습 전략을 통해 개발되었다. 광범위한 실험을 통해 RedOne은 강력한 일반화 능력을 유지하며, 기본 모델 대비 8가지 주요 SNS 작업에서 평균 14.02%, SNS 이중 언어 평가 벤치마크에서 7.56%의 성능 향상을 달성했다. 또한, 온라인 테스트를 통해 RedOne은 유해 콘텐츠 탐지에서 노출률을 11.23% 감소시키고, 게시물 검색에서 클릭 페이지율을 14.95% 향상시켰다. 이러한 결과는 RedOne이 다양한 작업에서 우수한 일반화 능력을 보이며 실제 시나리오에서 유망한 적용 가능성을 입증하는 SNS 도메인 특화 LLM으로서의 견고함을 입증한다.
대규모 언어 모델(LLM)의 평가는 복잡한 작업으로, 여러 접근 방식이 제안되어 왔습니다. 가장 일반적인 방법은 다양한 주제의 객관식 질문에 LLM이 답변해야 하는 자동화된 벤치마크를 사용하는 것입니다. 그러나 이 방법은 인간과의 상관관계가 낮다는 점이 가장 큰 문제로 지적됩니다. 대안적인 접근 방식으로는 인간이 LLM을 평가하는 방법이 있습니다. 이는 평가해야 할 모델의 수가 많고 계속 증가하고 있어, 평가자를 모집하고 모델의 응답을 순위 매기는 전통적인 연구를 실행하기에는 확장성 문제와 비용 문제가 발생합니다. 또 다른 대안은 LM 아레나와 같은 공개 아레나를 사용하는 것입니다. 이 아레나에서는 모든 사용자가 자유롭게 모델을 평가하고 두 모델의 응답을 순위 매길 수 있으며, 그 결과를 바탕으로 모델 순위를 산출합니다. LLM의 에너지 소비는 점점 더 중요한 측면이 되고 있으며, 따라서 에너지 인식이 인간의 모델 선택에 미치는 영향을 평가하는 것은 흥미로운 주제입니다. 본 논문에서는 모델의 에너지 소비 정보를 평가 과정에 통합한 GEA(Generative Energy Arena)를 소개합니다. GEA를 통해 얻은 예비 결과를 제시하며, 대부분의 질문에서 사용자들이 에너지 소비를 인지할 때 더 작고 에너지 효율적인 모델을 선호한다는 것을 보여줍니다. 이는 대부분의 사용자 상호작용에서 더 복잡하고 최고 성능을 내는 모델이 추가 비용과 에너지를 소비하더라도 응답의 질이 그만큼 향상되지 않아 사용을 정당화하기 어렵다는 것을 시사합니다.
본 연구는 변동성이 큰 시장에서의 정량적 리스크 관리 프레임워크를 제시하며, 특히 FTSE 100 지수에 적용된 기대치(expectile) 기반 방법론에 초점을 맞춥니다. 전통적인 리스크 측정 방법인 위험가치(Value-at-Risk, VaR)는 2008년 금융 위기 및 이후의 변동성 기간 동안 시장 스트레스 상황에서 상당한 한계를 보였습니다. 본 연구는 이러한 전통적인 분위수(quantile) 기반 접근법의 단점을 해결하기 위해 꼬리 손실(tail loss)에 대한 더 높은 민감도와 극단적인 시장 조건에서의 개선된 안정성을 제공하는 고급 기대치 기반 프레임워크를 개발합니다. 이 연구는 FTSE 100 수익률의 20년간 데이터셋을 활용하며, 이는 높은 변동성, 시장 붕괴, 회복 단계를 포함합니다. 우리의 방법론은 기대치 회귀 모델을 위한 새로운 수학적 공식, 시계열 분석을 통한 개선된 임계값 결정 기법, 그리고 강력한 백테스팅 절차를 도입합니다. 실증적 결과는 기대치 기반 위험가치(Expectile-based Value-at-Risk, EVaR)가 다양한 신뢰 수준과 시장 조건에서 전통적인 VaR 측정을 지속적으로 능가함을 보여줍니다. 이 프레임워크는 변동성 기간 동안 우수한 성능을 보이며, 모델 리스크가 감소하고 예측 정확도가 향상됩니다. 또한, 본 연구는 금융 기관을 위한 실질적인 구현 지침을 수립하고 규제 준수 및 포트폴리오 관리를 위한 근거 기반 권장 사항을 제공합니다. 이러한 연구 결과는 금융 리스크 관리 문헌에 중요한 기여를 하며, 변동성이 큰 시장 환경을 다루는 실무자들을 위한 실용적인 도구를 제공합니다.