AI 연구 논문 데일리

대규모 언어 모델(LLM)의 성능은 사전 학습 데이터셋의 품질과 규모에 크게 좌우됩니다. 그러나 Llama 3 및 Mixtral과 같은 최첨단 오픈 LLM의 사전 학습 데이터셋은 공개되어 있지 않으며, 이들이 어떻게 생성되었는지에 대한 정보도 거의 알려져 있지 않습니다. 본 연구에서는 96개의 Common Crawl 스냅샷에서 도출된 15조 토큰 규모의 FineWeb 데이터셋을 소개합니다. 이 데이터셋은 기존의 공개된 사전 학습 데이터셋보다 더 우수한 성능의 LLM을 생성합니다. 고품질 사전 학습 데이터셋을 어떻게 최적으로 구성할지에 대한 이해를 높이기 위해, FineWeb에서 사용된 모든 설계 선택 사항을 신중하게 문서화하고, 중복 제거 및 필터링 전략에 대한 심층적인 조사를 포함하여 이를 철저히 분석했습니다. 또한, FineWeb에서 필터링된 교육용 텍스트로 구성된 1.3조 토큰 규모의 FineWeb-Edu 컬렉션을 소개합니다. FineWeb-Edu로 사전 학습된 LLM은 MMLU 및 ARC와 같은 지식 및 추론 집중형 벤치마크에서 극적으로 향상된 성능을 보여줍니다. 데이터셋과 함께, 우리는 데이터 큐레이션 코드베이스와 분석 실험 중에 훈련된 모든 모델을 공개합니다.

텍스트-이미지 확산 모델을 기반으로 한 3D 생성은 시각적으로 매력적인 자산을 만들어낼 수 있게 합니다. 그러나 기존 방법들은 이미지나 텍스트를 기반으로 한 생성에 초점을 맞추고 있습니다. 이러한 방식은 단어로 표현할 수 있는 범위나 구할 수 있는 이미지에 의해 창의성의 한계가 제한됩니다. 우리는 YouDream을 제안하며, 이는 해부학적으로 제어 가능한 고품질 동물을 생성하는 방법입니다. YouDream은 3D 포즈 사전의 2D 뷰로 제어되는 텍스트-이미지 확산 모델을 사용하여 안내됩니다. 우리의 방법은 기존의 텍스트-3D 생성 방법으로는 만들 수 없는 3D 동물을 생성합니다. 또한, 우리의 방법은 생성된 동물의 해부학적 일관성을 유지할 수 있으며, 이는 기존의 텍스트-3D 접근 방식들이 종종 어려움을 겪는 부분입니다. 더 나아가, 우리는 일반적으로 발견되는 동물을 생성하기 위한 완전 자동화된 파이프라인을 설계했습니다. 3D 포즈를 생성하기 위해 인간의 개입이 필요하지 않도록, 우리는 제한된 동물 3D 포즈 라이브러리에서 원하는 동물을 표현하기 위해 포즈를 적응시키는 다중 에이전트 LLM을 제안합니다. YouDream의 결과에 대해 수행된 사용자 연구는 우리의 방법으로 생성된 동물 모델이 다른 방법들보다 선호된다는 것을 보여줍니다. 턴테이블 결과와 코드는 https://youdream3d.github.io/에서 공개되었습니다.

언어 모델(LMs)은 인상적인 성능과 일반화 능력을 보여줍니다. 그러나 LMs는 지속적인 학습(CL)에서 장기적인 지속 가능성을 저해하는 치명적인 망각(catastrophic forgetting) 문제에 직면해 있습니다. 기존 접근 방식은 일반적으로 이전 작업 데이터를 통합하거나 작업별 귀납적 편향을 LMs에 적용하여 이 문제를 해결합니다. 그러나 이전 데이터와 정확한 작업 정보는 종종 사용할 수 없거나 수집 비용이 높아, 현재의 CL 접근 방식이 LMs에 적용되기 어렵게 만듭니다. 이러한 한계를 해결하기 위해, 우리는 MIGU(MagnItude-based Gradient Updating for continual learning)를 소개합니다. MIGU는 리허설(rehearsal)이 필요 없고 작업 레이블이 없는 방법으로, LMs의 선형 계층에서 출력의 크기가 큰 모델 파라미터만 업데이트합니다. MIGU는 LMs의 선형 계층에서 출력의 L1 정규화 크기 분포가 다른 작업 데이터를 처리할 때 다르다는 관찰에 기반합니다. 이 간단한 제약을 그래디언트 업데이트 과정에 적용함으로써, 우리는 LMs의 내재된 행동을 활용하여 그들의 고유한 CL 능력을 발휘할 수 있습니다. 우리의 실험은 MIGU가 세 가지 LM 아키텍처(T5, RoBERTa, Llama2) 모두에 보편적으로 적용 가능하며, 네 가지 CL 벤치마크에서 지속적인 미세 조정(finetuning)과 지속적인 사전 학습(pre-training) 설정에서 최신 수준 또는 그에 준하는 성능을 제공함을 보여줍니다. 예를 들어, MIGU는 15개 작업 CL 벤치마크에서 기존의 파라미터 효율적 미세 조정 기준선보다 평균 정확도 15.2% 향상을 가져옵니다. MIGU는 또한 기존의 세 가지 CL 유형과 원활하게 통합되어 성능을 더욱 향상시킬 수 있습니다. 코드는 https://github.com/wenyudu/MIGU{이 https URL}에서 확인할 수 있습니다.

최근 언어 모델(LMs)을 위해 개발된 인간 선호 최적화 기술의 발전은 텍스트-이미지 확산 모델(Diffusion Models)에도 유망한 결과를 보여주며, 프롬프트 정렬, 시각적 매력, 사용자 선호도 향상에 기여하고 있습니다. 언어 모델과 달리, 확산 모델은 일반적으로 픽셀 또는 VAE 공간에서 최적화를 수행하는데, 이는 인간의 인지와 잘 맞지 않아 선호 정렬 단계에서 더 느리고 비효율적인 학습을 초래합니다. 이러한 문제를 해결하기 위해, 우리는 확산 모델의 U-Net 임베딩 공간에서 지각적 목적 함수를 사용하는 방법을 제안합니다. 우리의 접근 방식은 Stable Diffusion 1.5와 XL을 이 임베딩 공간 내에서 직접 선호 최적화(DPO), 대조적 선호 최적화(CPO), 그리고 지도 미세 조정(SFT)을 통해 미세 조정하는 것을 포함합니다. 이 방법은 품질과 계산 비용을 포함한 다양한 지표에서 표준 잠재 공간 구현을 크게 능가합니다. SDXL의 경우, 우리의 접근 방식은 PartiPrompts 데이터셋에서 오리지널 오픈소스 SDXL-DPO 대비 60.8%의 일반 선호도, 62.2%의 시각적 매력, 52.1%의 프롬프트 준수를 제공하면서도 계산 비용을 크게 줄입니다. 우리의 접근 방식은 확산 모델의 인간 선호 정렬의 효율성과 품질을 개선할 뿐만 아니라, 다른 최적화 기술과도 쉽게 통합할 수 있습니다. 학습 코드와 LoRA 가중치는 다음 링크에서 제공될 예정입니다: https://huggingface.co/alexgambashidze/SDXL\_NCP-DPO\_v0.1

함수 호출 에이전트 모델의 발전을 위해서는 다양하고 신뢰할 수 있으며 고품질의 데이터셋이 필요합니다. 본 논문은 함수 호출 애플리케이션을 위해 검증 가능한 고품질 데이터셋을 합성하기 위해 설계된 자동화된 데이터 생성 파이프라인인 APIGen을 소개합니다. 우리는 APIGen을 활용하여 21개의 다양한 카테고리에서 3,673개의 실행 가능한 API를 수집하고, 확장 가능하고 구조화된 방식으로 다양한 함수 호출 데이터셋을 생성합니다. 데이터셋의 각 데이터는 형식 검사, 실제 함수 실행, 의미적 검증이라는 세 단계의 계층적 검증을 거쳐 신뢰성과 정확성을 보장합니다. 우리는 이렇게 정제된 데이터셋으로 훈련된 모델이 단 7B 파라미터만으로도 Berkeley Function-Calling Benchmark에서 최첨단 성능을 달성하며, 여러 GPT-4 모델을 능가함을 입증합니다. 더 나아가, 우리의 1B 모델은 GPT-3.5-Turbo와 Claude-3 Haiku를 능가하는 탁월한 성능을 보입니다. 우리는 함수 호출 에이전트 분야의 발전을 위해 60,000개의 고품질 항목을 포함한 데이터셋을 공개합니다. 이 데이터셋은 Huggingface(https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k)와 프로젝트 홈페이지(https://apigen-pipeline.github.io/)에서 확인할 수 있습니다.

우리는 생성적 확산 모델을 사용하여 편미분 방정식(PDE)을 해결하기 위한 일반적인 프레임워크를 소개한다. 특히, 기존의 고전적 솔버를 적용하기 위해 필요한 장면에 대한 완전한 정보가 없는 상황에 초점을 맞춘다. 대부분의 기존 정방향 또는 역방향 PDE 접근법은 데이터 관측값이나 기저 계수에 대한 정보가 불완전할 때 성능이 저하되는데, 이는 실제 세계의 측정에서 흔히 가정되는 상황이다. 본 연구에서는 해결책 공간과 계수 공간의 결합 분포를 모델링함으로써 누락된 정보를 동시에 채우고 PDE를 해결할 수 있는 DiffusionPDE를 제안한다. 학습된 생성적 사전 분포가 부분 관측 하에서 다양한 범위의 PDE를 정확하게 해결할 수 있는 다목적 프레임워크로 이어지며, 정방향 및 역방향 모두에서 최신 방법들을 크게 능가함을 보여준다.

대규모 언어 모델(LLM)의 장문맥 처리 능력은 최근 몇 년간 뜨거운 주제로 떠올랐다. 다양한 시나리오에서 LLM의 성능을 평가하기 위해 여러 평가 벤치마크가 등장했다. 그러나 이러한 벤치마크 대부분은 질문에 답하기 위해 핵심 정보를 식별하는 데 초점을 맞추고 있어, 주로 LLM의 검색 능력을 요구하며, 이는 대량의 정보에서 LLM의 추론 성능을 부분적으로만 대표할 수 있다. 한편, LLM이 종종 32k, 128k, 200k 또는 그 이상의 컨텍스트 윈도우를 갖고 있다고 주장하지만, 이러한 벤치마크는 이러한 LLM이 실제로 지원하는 길이를 드러내지 못한다. 이러한 문제를 해결하기 위해, 우리는 기존의 명령어 데이터셋을 기반으로 구축된 도전적인 장문맥 명령어 기반 시험인 LongIns 벤치마크 데이터셋을 제안한다. 구체적으로, 우리의 LongIns에서는 세 가지 평가 설정을 도입한다: 전역 명령어 & 단일 작업(GIST), 지역 명령어 & 단일 작업(LIST), 그리고 지역 명령어 & 다중 작업(LIMT). LongIns를 기반으로, 우리는 기존 LLM에 대한 포괄적인 평가를 수행하고 다음과 같은 중요한 발견을 얻었다: (1) 128k 컨텍스트 길이를 가진 최고 성능의 GPT-4는 우리의 LongIns에서 16k 평가 컨텍스트 윈도우에서 낮은 성능을 보였다. (2) 많은 기존 LLM의 다중 홉 추론 능력은 짧은 컨텍스트 윈도우(4k 미만)에서 여전히 상당한 개선이 필요하다.

본 연구에서는 사용자 정의 대상의 애니메이션을 생성하면서 대상과 카메라의 움직임을 정밀하게 제어할 수 있는 혁신적인 프레임워크인 MotionBooth를 소개합니다. 특정 대상의 이미지 몇 장을 활용하여 텍스트-투-비디오 모델을 효율적으로 미세 조정함으로써 대상의 형태와 속성을 정확하게 포착합니다. 우리의 접근 방식은 대상의 학습 성능을 향상시키기 위해 대상 영역 손실과 비디오 보존 손실을 제안하며, 사용자 정의 대상과 모션 제어 신호를 통합하기 위해 대상 토큰 교차 주의 손실을 도입합니다. 또한, 추론 과정에서 대상과 카메라의 움직임을 관리하기 위한 학습이 필요 없는 기법을 제안합니다. 특히, 교차 주의 맵 조작을 통해 대상의 움직임을 제어하고, 카메라 움직임 제어를 위한 새로운 잠재 이동 모듈을 소개합니다. MotionBooth는 생성된 비디오에서 대상의 외관을 보존하면서 동시에 움직임을 제어하는 데 탁월한 성능을 보입니다. 광범위한 정량적 및 정성적 평가를 통해 우리 방법의 우수성과 효과성을 입증합니다. 프로젝트 페이지는 https://jianzongwu.github.io/projects/motionbooth에서 확인할 수 있습니다.

멀티모달 대형 언어 모델(MLLMs)은 다양한 시각 이해 작업에서 상당한 진전을 이루어 왔습니다. 그러나 이러한 모델의 대부분은 저해상도 이미지를 처리하는 데 제한되어 있어, 세부적인 시각 정보가 필요한 인지 작업에서의 효과성이 제한됩니다. 본 연구에서는 다중 세분성 시각 흐름(저해상도, 고해상도, 객체 중심 특징 포함)을 통합하여 모델의 시각 처리 능력을 향상시킨 혁신적인 MLLM인 MG-LLaVA를 제안합니다. 우리는 고해상도 시각 인코더를 추가로 통합하여 미세한 세부 사항을 포착하고, 이를 기본 시각 특징과 Conv-Gate 융합 네트워크를 통해 결합하는 방식을 제안합니다. 또한, 오프라인 탐지기로 식별된 바운딩 박스에서 도출된 객체 수준 특징을 통합하여 모델의 객체 인식 능력을 더욱 세밀하게 개선합니다. 공개된 멀티모달 데이터만을 사용하여 지시 튜닝을 통해 학습된 MG-LLaVA는 탁월한 인지 능력을 보여줍니다. 우리는 3.8B부터 34B까지 다양한 언어 인코더를 사용하여 MG-LLaVA를 구현하고, 모델의 성능을 포괄적으로 평가합니다. 다양한 벤치마크에서의 광범위한 평가 결과, MG-LLaVA는 동일한 파라미터 크기의 기존 MLLM들을 능가하며 뛰어난 효율성을 입증합니다. 코드는 https://github.com/PhoenixZ810/MG-LLaVA에서 확인할 수 있습니다.

장문맥 모델링 능력이 광범위한 관심을 끌면서, 초대형 문맥 윈도우를 가진 대형 언어 모델(LLMs)이 등장하고 있습니다. 한편, 장문맥 LLMs를 평가하기 위한 벤치마크도 점차 따라잡고 있습니다. 그러나 기존 벤치마크들은 테스트 케이스의 길이를 인위적으로 늘리기 위해 관련 없는 잡음 텍스트를 사용하여, 실제 장문맥 응용 시나리오와는 차이가 있습니다. 이러한 격차를 해소하기 위해, 우리는 확장된 다중 문서 질의응답(QA)을 통해 현실적인 시나리오에 부합하는 새로운 장문맥 벤치마크인 Loong을 제안합니다. 일반적인 문서 QA와 달리, Loong의 테스트 케이스에서는 각 문서가 최종 답변과 관련이 있으며, 어떤 문서를 무시하더라도 답변 실패로 이어집니다. 더 나아가, Loong은 Spotlight Locating, Comparison, Clustering, Chain of Reasoning 등 네 가지 유형의 작업과 다양한 문맥 길이를 도입하여, 장문맥 이해에 대한 보다 현실적이고 포괄적인 평가를 가능하게 합니다. 광범위한 실험 결과, 기존의 장문맥 언어 모델들은 여전히 상당한 개선의 여지가 있음을 보여줍니다. 검색 증강 생성(RAG)은 낮은 성능을 보이며, Loong이 모델의 장문맥 모델링 능력을 신뢰롭게 평가할 수 있음을 입증합니다.

텍스트를 문장 단위로 분할하는 작업은 많은 NLP 시스템에서 초기 단계이면서도 중요한 역할을 합니다. 이는 일반적으로 구두점과 같은 어휘적 특징에 의존하는 규칙 기반 또는 통계적 방법을 사용하여 달성됩니다. 최근 일부 연구에서는 더 이상 구두점에만 의존하지 않지만, 우리는 기존의 어떤 방법도 (i) 구두점 누락에 대한 강건성, (ii) 새로운 도메인에 대한 효과적인 적응성, (iii) 높은 효율성이라는 세 가지 조건을 모두 충족하지 못한다는 사실을 발견했습니다. 이 문제를 해결하기 위해 우리는 새로운 모델인 'Segment any Text (SaT)'를 소개합니다. 강건성을 높이기 위해 구두점에 대한 의존도를 줄이는 새로운 사전 학습 방식을 제안합니다. 적응성을 해결하기 위해 파라미터 효율적인 미세 조정 단계를 추가하여, 가사나 법률 문서와 같은 다양한 도메인에서 최첨단 성능을 달성합니다. 또한, 아키텍처 수정을 통해 이전 최신 기술 대비 세 배의 속도 향상을 이루었고, 먼 미래의 문맥에 대한 잘못된 의존성을 해결했습니다. 마지막으로, 다국어 문장 분할 데이터에 대한 미세 조정을 적용한 모델 변형을 도입하여, 기존 분할 도구를 대체하고 개선할 수 있는 방안을 제시합니다. 전반적으로, 우리의 기여는 어떤 텍스트든 분할할 수 있는 보편적인 접근 방식을 제공합니다. 우리의 방법은 다양한 도메인과 언어를 아우르는 8개 코퍼스에서 강력한 대형 언어 모델(LLM)을 포함한 모든 기준선을 능가하며, 특히 텍스트가 잘못 포맷된 실질적으로 중요한 상황에서 뛰어난 성능을 보입니다. 우리의 모델과 코드, 문서는 MIT 라이선스 하에 https://huggingface.co/segment-any-text에서 이용 가능합니다.

사전 학습된 대규모 언어 모델(LLM)의 일반적인 능력에도 불구하고, 실제 애플리케이션에 더 잘 적용하기 위해서는 추가적인 적응이 필요합니다. 본 논문에서는 세 가지 인기 있고 독특한 적응 도구인 파라미터 업데이트, 보상 모델링, 그리고 컨텍스트 내 프롬프팅의 상호 교환 가능성을 입증합니다. 이러한 상호 교환 가능성은 여섯 가지 변환 방향을 포함하는 삼각형 프레임워크를 구축하며, 각 방향은 다양한 애플리케이션을 촉진합니다. 우리의 연구는 기존의 수많은 연구를 통합하는 종합적인 관점을 제공하고 잠재적인 연구 방향을 제시합니다. 우리는 이 연구가 LLM에 대한 미래 연구를 위한 유용한 로드맵이 될 것으로 기대합니다.

디퓨전 모델은 비디오 생성에서 뛰어난 능력을 입증하며, 생성 과정에 궤적 제어를 도입하려는 관심을 더욱 불러일으켰습니다. 기존 연구는 주로 학습 기반 방법(예: 조건부 어댑터)에 초점을 맞추고 있지만, 우리는 디퓨전 모델 자체가 추가 학습 없이도 생성된 콘텐츠를 상당히 제어할 수 있다고 주장합니다. 본 연구에서는 노이즈 구성과 어텐션 계산에 가이던스를 적용하여 궤적 제어가 가능한 비디오 생성을 달성하는 튜닝 프리 프레임워크를 소개합니다. 구체적으로, 1) 먼저 몇 가지 교훈적인 현상을 보여주고 초기 노이즈가 생성된 콘텐츠의 운동 궤적에 어떻게 영향을 미치는지 분석합니다. 2) 이어서, 노이즈 샘플링과 어텐션 메커니즘을 수정하여 궤적 제어를 가능하게 하는 튜닝 프리 접근법인 FreeTraj를 제안합니다. 3) 더 나아가, FreeTraj를 확장하여 더 길고 큰 비디오를 궤적 제어와 함께 생성할 수 있도록 합니다. 이러한 설계를 통해 사용자는 수동으로 궤적을 제공하거나 LLM 궤적 플래너에 의해 자동 생성된 궤적을 선택할 수 있는 유연성을 갖습니다. 광범위한 실험을 통해 우리의 접근법이 비디오 디퓨전 모델의 궤적 제어 가능성을 향상시키는 데 효과적임을 검증했습니다.

대규모 언어 모델(LLMs)의 최근 발전은 대화 에이전트의 능력을 크게 향상시켜 다양한 분야(예: 교육)에 적용 가능하게 만들었습니다. 그러나 이러한 진전에도 불구하고, 대화 에이전트의 평가는 실시간 상호작용, 다자간 대화, 장기적인 문맥 의존성과 같은 실제 대화의 복잡성을 종종 간과합니다. 이러한 격차를 해소하기 위해, 우리는 실시간 대화 시뮬레이터인 DialSim을 소개합니다. 이 시뮬레이터에서 에이전트는 인기 TV 프로그램의 캐릭터 역할을 맡아, 과거 대화 정보를 활용해 즉흥적인 질문에 응답하고, 알려진 정보와 알려지지 않은 정보를 구분해야 합니다. DialSim의 주요 기능은 에이전트가 합리적인 시간 내에 응답하는 능력을 평가하고, 장기적인 다자간 대화를 처리하며, 사전 학습된 지식에 대한 의존도를 시험하기 위해 적대적 설정(예: 캐릭터 이름 교체)을 관리하는 것입니다. 우리는 이 시뮬레이터를 사용해 최신 대화 에이전트를 평가하고 그들의 한계를 분석했습니다. 실험 결과는 이러한 에이전트의 강점과 약점을 모두 보여주며, 대화형 AI 분야의 미래 개선을 위한 귀중한 통찰을 제공합니다. DialSim은 https://github.com/jiho283/Simulator에서 이용 가능합니다.

영화 제작과 애니메이션 제작은 종종 카메라 전환과 객체 움직임을 조율하기 위해 정교한 기술을 필요로 하며, 일반적으로 실세계에서 많은 노동력이 요구되는 촬영 과정을 포함합니다. 비디오 생성 분야에서 생성형 AI의 발전이 이루어졌음에도 불구하고, 인터랙티브 비디오 자산 생성을 위한 정밀한 모션 제어는 여전히 어려운 과제로 남아 있습니다. 이를 위해 우리는 단일 이미지에서 비디오 자산을 생성하기 위해 카메라 전환과 객체 움직임을 정밀하게 제어하는 방법인 Image Conductor를 제안합니다. 잘 설계된 훈련 전략을 통해 카메라 LoRA 가중치와 객체 LoRA 가중치를 사용하여 별도의 카메라 및 객체 움직임을 분리합니다. 또한, 잘못된 궤적에서 발생하는 시네마토그래피적 변동을 해결하기 위해 추론 과정에서 카메라 없는 가이던스 기법을 도입하여 카메라 전환을 제거하면서 객체 움직임을 강화합니다. 더불어, 훈련을 위한 궤적 지향 비디오 모션 데이터 큐레이션 파이프라인을 개발했습니다. 양적 및 질적 실험을 통해 우리의 방법이 이미지에서 모션 제어 가능한 비디오를 생성하는 데 있어 정밀성과 세밀한 제어를 제공함을 입증하며, 인터랙티브 비디오 합성의 실용적 응용을 발전시킵니다. 프로젝트 웹페이지는 https://liyaowei-stu.github.io/project/ImageConductor/에서 확인할 수 있습니다.

대규모 언어 모델(LLM)의 학습과 미세 조정은 종종 제한된 GPU 메모리로 인해 병목 현상을 겪습니다. 기존의 투영 기반 최적화 방법들은 최적화 상태 메모리를 줄이기 위해 그래디언트를 저차원 부분 공간에 투영함으로써 이 문제를 해결하지만, 일반적으로 밀집된 투영 행렬을 사용하여 계산 및 메모리 오버헤드를 초래할 수 있습니다. 본 연구에서는 희소 투영을 활용하여 그래디언트를 구조화된 희소 업데이트로 변환하는 새로운 접근 방식인 Grass(GRAdient Structured Sparsification)를 제안합니다. 이 설계는 최적화 상태에 대한 메모리 사용량을 크게 줄일 뿐만 아니라 그래디언트 메모리 공간, 계산 및 통신 비용을 최소화하여 상당한 처리량 개선을 이끌어냅니다. 사전 학습 및 미세 조정 작업에 대한 광범위한 실험을 통해 Grass가 전체 랭크 학습 및 기존 투영 기반 방법과 경쟁력 있는 성능을 달성함을 입증했습니다. 특히, Grass는 단일 40GB A100 GPU에서 13B 파라미터 LLaMA 모델의 반정밀도 사전 학습을 가능하게 하며, 이는 이전 방법으로는 불가능했던 성과입니다. 또한 8-GPU 시스템에서 최대 2배의 처리량 개선을 제공합니다. 코드는 https://github.com/aashiqmuhamed/GRASS에서 확인할 수 있습니다.

인공 일반 지능(AGI)이 인간 생활의 다양한 측면에 점점 더 통합됨에 따라, 이러한 시스템의 안전성과 윤리적 정렬을 보장하는 것이 최우선 과제가 되었습니다. 기존 연구는 주로 단일 모달리티 위협에 초점을 맞추고 있는데, 이는 교차 모달리티 상호작용의 통합적이고 복잡한 특성을 고려할 때 충분하지 않을 수 있습니다. 우리는 교차 모달리티 안전 정렬을 평가하기 위해 '안전한 입력이지만 위험한 출력(Safe Inputs but Unsafe Output, SIUO)'이라는 새로운 안전 정렬 문제를 제안합니다. 구체적으로, 이 문제는 단일 모달리티가 독립적으로는 안전하지만 결합될 경우 위험하거나 비윤리적인 출력을 초래할 수 있는 경우를 고려합니다. 이 문제를 실증적으로 연구하기 위해, 우리는 자해, 불법 활동, 개인정보 침해 등 9개의 중요한 안전 영역을 포괄하는 SIUO라는 교차 모달리티 벤치마크를 개발했습니다. 우리의 연구 결과는 GPT-4V와 LLaVA와 같은 폐쇄형 및 오픈소스 LVLM(Large Vision-Language Models)에서 상당한 안전 취약점이 존재함을 보여주며, 현재 모델들이 복잡한 현실 세계 시나리오를 신뢰할 수 있게 해석하고 응답하는 데 부족함이 있음을 강조합니다.

AI 시스템이 사람들과 효과적으로 소통하기 위해서는 우리가 어떻게 결정을 내리는지 이해해야 합니다. 그러나 사람들의 결정이 항상 합리적인 것은 아니므로, 대형 언어 모델(LLM)에 내재된 인간 의사결정의 암묵적 내부 모델은 이를 고려해야 합니다. 이전의 경험적 증거는 이러한 암묵적 모델이 정확하다는 것을 시사하는 것처럼 보였습니다. LLM은 인간 행동의 그럴듯한 대리자를 제공하며, 일상적인 상호작용에서 우리가 인간이 어떻게 행동할 것인지 예상하는 방식으로 작동합니다. 그러나 LLM의 행동과 예측을 인간 결정의 대규모 데이터셋과 비교해 보면, 실제로는 그렇지 않다는 것을 발견했습니다: 사람들의 선택을 시뮬레이션하고 예측할 때, 최첨단 LLM들(GPT-4o & 4-Turbo, Llama-3-8B & 70B, Claude 3 Opus)은 사람들이 실제보다 더 합리적이라고 가정합니다. 구체적으로, 이러한 모델들은 인간 행동에서 벗어나 고전적인 합리적 선택 모델인 기대 가치 이론에 더 가깝게 정렬됩니다. 흥미롭게도, 사람들도 다른 사람들의 행동을 해석할 때 그들이 합리적이라고 가정하는 경향이 있습니다. 결과적으로, LLM과 사람들이 다른 사람들의 결정에서 도출한 추론을 또 다른 심리학적 데이터셋을 사용해 비교해 보면, 이러한 추론이 매우 높은 상관관계를 보이는 것을 발견합니다. 따라서 LLM의 암묵적 의사결정 모델은 사람들이 실제로 행동하는 방식보다는, 다른 사람들이 합리적으로 행동할 것이라는 인간의 기대와 일치하는 것으로 보입니다.

활성화 조정(activation steering) 방법들은 언어 모델의 중간 표현에 가산적 개입을 통해 생성 과정을 조건화하는 데 효과적인 것으로 입증되었습니다. 그러나 이러한 기술에 대한 평가는 지금까지 단일 조건 속성과 인위적인 설정에 국한되어 있었습니다. 본 연구에서는 다양한 활성화 조정 전략을 포괄적으로 평가하며, 생성 전반에 걸쳐 강력한 효과를 보장하기 위한 최적 매개변수의 속성 의존적 특성을 강조합니다. 이 문제를 해결하기 위해, 우리는 정보 이론적 접근법인 동적 활성화 조합(Dynamic Activation Composition)을 제안합니다. 이 방법은 생성 과정 전반에 걸쳐 하나 이상의 속성에 대한 조정 강도를 조절합니다. 다중 속성 조정에 대한 실험 결과, 우리의 방법이 높은 조건화 수준을 유지하면서도 생성의 유창성에 미치는 영향을 최소화하는 데 성공적임을 보여줍니다.