번역이 포함된 일일 선별된 AI 연구 논문
DALLE-3 및 Stable Diffusion과 같은 텍스트-이미지 모델이 빠르게 확산되고 있지만, 이러한 모델들은 종종 환각, 편향, 그리고 안전하지 않거나 저품질의 출력물을 생성하는 문제에 직면합니다. 이러한 문제를 효과적으로 해결하기 위해서는 다중모달 판단자(multimodal judge)의 피드백을 바탕으로 이러한 모델들을 원하는 행동에 맞추는 것이 중요합니다. 그러나 현재의 다중모달 판단자들은 그들의 능력과 한계에 대한 충분한 평가를 받지 못하는 경우가 많아, 잘못된 정렬과 안전하지 않은 미세조정 결과를 초래할 수 있습니다. 이 문제를 해결하기 위해, 우리는 MJ-Bench라는 새로운 벤치마크를 소개합니다. 이 벤치마크는 정렬, 안전성, 이미지 품질, 그리고 편향이라는 네 가지 주요 관점에서 이미지 생성 모델에 대한 피드백을 제공하는 다중모달 판단자들을 평가하기 위한 포괄적인 선호도 데이터셋을 포함합니다. 구체적으로, 우리는 더 작은 크기의 CLIP 기반 채점 모델, 오픈소스 VLM(예: LLaVA 패밀리), 그리고 클로즈드소스 VLM(예: GPT-4o, Claude 3)을 포함한 다양한 다중모달 판단자들을 우리의 선호도 데이터셋의 각 하위 범주에서 평가합니다. 실험 결과, 클로즈드소스 VLM이 일반적으로 더 나은 피드백을 제공하며, GPT-4o가 평균적으로 다른 판단자들을 능가하는 것으로 나타났습니다. 오픈소스 VLM과 비교했을 때, 더 작은 크기의 채점 모델들은 텍스트-이미지 정렬과 이미지 품질에 대해 더 나은 피드백을 제공하는 반면, VLM은 더 강력한 추론 능력으로 인해 안전성과 생성 편향에 대해 더 정확한 피드백을 제공합니다. 피드백 스케일에 대한 추가 연구는 VLM 판단자들이 숫자 스케일보다 자연어(Likert-scale)에서 더 정확하고 안정적인 피드백을 제공할 수 있음을 보여줍니다. 특히, 이러한 다중모달 판단자들의 개별 피드백을 사용하여 엔드투엔드로 미세조정된 모델에 대한 인간 평가는 유사한 결론을 제공하며, 이는 MJ-Bench의 효과를 더욱 확인시켜 줍니다. 모든 데이터, 코드, 모델은 https://huggingface.co/MJ-Bench에서 확인할 수 있습니다.
대규모 언어 모델(LLMs)은 고자원 언어 작업에서 뛰어난 번역 능력을 보여주지만, 저자원 언어에서는 사전 학습 중 다국어 데이터 부족으로 인해 성능이 제한됩니다. 이를 해결하기 위해, 우리는 LLaMA 시리즈 모델에 대해 35,000 A100-SXM4-80GB GPU 시간을 투자하여 광범위한 다국어 지속 사전 학습을 수행하고, 100개 이상의 언어에 대한 번역 지원을 가능하게 했습니다. 어휘 확장 및 데이터 증강과 같은 학습 전략에 대한 포괄적인 분석을 통해 LLaMAX를 개발했습니다. 주목할 만한 점은, 일반화 능력을 희생하지 않으면서도 LLaMAX는 기존 오픈소스 LLMs보다 훨씬 높은 번역 성능(10 spBLEU 포인트 이상)을 달성했으며, Flores-101 벤치마크에서 전문 번역 모델(M2M-100-12B)과 동등한 성능을 보였습니다. 광범위한 실험 결과, LLaMAX는 강력한 다국어 기반 모델로 사용될 수 있음이 입증되었습니다. 코드(\url{https://github.com/CONE-MT/LLaMAX/.})와 모델(\url{https://huggingface.co/LLaMAX/.})은 공개되어 있습니다.
본 논문은 매우 긴 시퀀스를 위한 신경망 아키텍처를 설계하는 과제를 다룹니다. 이 아키텍처는 각 시간 단계에서 새로운 정보를 처리하는 데 일정한 시간이 요구됩니다. 우리의 접근 방식인 연상 회귀 메모리 트랜스포머(Associative Recurrent Memory Transformer, ARMT)는 지역적 문맥을 위한 트랜스포머 자기 주의(self-attention)와 긴 문맥에 걸쳐 분포된 작업 특정 정보를 저장하기 위한 세그먼트 수준의 회귀를 기반으로 합니다. 우리는 ARMT가 연상 검색 작업에서 기존의 대안들을 능가하며, 최근의 BABILong 다중 작업 장문맥 벤치마크에서 5천만 토큰에 걸친 단일 사실 질문에 대해 79.9%의 정확도로 새로운 성능 기록을 세웠음을 입증합니다. 학습 및 평가를 위한 소스 코드는 깃허브에서 확인할 수 있습니다.
이미지 편집 모델은 객체 교체, 속성 또는 스타일 변경부터 동작이나 움직임 수행에 이르기까지 다양한 편집 작업을 수행할 수 있어야 하며, 이는 다양한 형태의 추론을 필요로 합니다. 현재의 일반적인 지시문 기반 편집 모델들은 동작 및 추론 중심의 편집 작업에서 상당한 한계를 보입니다. 객체, 속성 또는 스타일 변경은 시각적으로 정적인 데이터셋에서 학습할 수 있지만, 동작 및 추론 중심의 편집을 위한 고품질 데이터는 물리적 역학, 시간성, 공간 추론 등을 다루는 완전히 다른 출처에서 얻어야 하며, 이는 희소합니다. 이를 위해 우리는 비디오와 시뮬레이션 엔진에서 인간이 주석을 달고 선별한 고품질 훈련 데이터인 AURORA 데이터셋(Action-Reasoning-Object-Attribute)을 신중하게 구축했습니다. 우리는 고품질 훈련 데이터의 핵심 요소인 삼중항(소스 이미지, 프롬프트, 타겟 이미지)에 초점을 맞추어, 프롬프트에 의해 설명된 단일 의미 있는 시각적 변화, 즉 소스와 타겟 이미지 간의 진정으로 최소한의 변화만 포함되도록 했습니다. 우리 데이터셋의 가치를 입증하기 위해, 우리는 8가지 다양한 편집 작업을 다루는 전문가가 선별한 새로운 벤치마크(AURORA-Bench)에서 AURORA로 미세 조정된 모델을 평가했습니다. 우리의 모델은 인간 평가자들의 판단에 따라 이전 편집 모델들을 크게 능가했습니다. 자동 평가를 위해, 우리는 이전 메트릭들의 중요한 결함을 발견하고 의미적으로 어려운 편집 작업에 대한 사용을 경계했습니다. 대신, 우리는 차별적 이해에 초점을 맞춘 새로운 자동 메트릭을 제안합니다. 우리의 노력이 (1) 고품질 훈련 데이터셋과 평가 벤치마크 구축, (2) 비판적 평가 개발, (3) 최첨단 모델 공개를 통해 일반 이미지 편집 분야의 더 큰 발전을 촉진하기를 바랍니다.
기존의 오픈소스 대형 멀티모달 모델(LMMs)은 몇 가지 한계점을 가지고 있었습니다: (1) 시각적 표현과 사전 학습된 대형 언어 모델(LLMs)을 정렬하기 위해 어댑터가 필요한 등, 네이티브 통합이 부족했으며; (2) 많은 모델이 단일 모달 생성에 제한되어 있었고; (3) 일부는 멀티모달 생성을 지원하지만, 시각적 모델링 및 생성을 위해 별도의 디퓨전 모델에 의존했습니다. 이러한 한계를 극복하기 위해, 우리는 인터리브된 이미지-텍스트 생성을 위한 오픈소스, 자기회귀적, 네이티브 대형 멀티모달 모델인 Anole을 제안합니다. 우리는 Meta AI의 Chameleon을 기반으로 Anole을 구축했으며, 데이터 효율적이고 파라미터 효율적인 혁신적인 파인튜닝 전략을 채택했습니다. Anole은 고품질의 일관된 멀티모달 생성 능력을 보여줍니다. 우리는 모델, 훈련 프레임워크, 그리고 인스트럭션 튜닝 데이터를 오픈소스로 공개했습니다.
대규모 언어 모델은 실제 애플리케이션에서 널리 사용되며, 종종 방대한 양의 문서에 대한 추론을 수행하는 역할을 맡습니다. 이 분야에서 주목할 만한 발전은 확장된 컨텍스트 기능을 자랑하는 모델들로, 일부는 200만 개 이상의 토큰을 처리할 수 있습니다. 그러나 이러한 장문 컨텍스트 모델의 성능은 실제 생산 시스템에서 여전히 불확실하며, 이로 인해 실제 사용 사례에서의 성능을 벤치마킹할 필요성이 대두되고 있습니다. 우리는 이러한 문제를 해결하기 위해 SWiM이라는 평가 프레임워크를 제안하며, 이는 표준 테스트의 한계를 극복합니다. 8개의 장문 컨텍스트 모델에 대해 이 프레임워크를 테스트한 결과, GPT-4와 Claude 3 Opus와 같은 강력한 모델들도 컨텍스트 창의 중간에 정보가 위치할 경우 성능이 저하되는 현상(lost-in-the-middle 효과)을 발견했습니다. 다음으로, 우리는 벤치마크 외에도 medoid voting이라는 간단하지만 효과적인 훈련 없이 적용 가능한 접근 방식을 제안합니다. 이 방법은 컨텍스트 내 문서를 무작위로 재배열하며 여러 번 응답을 생성하고, 그 중 medoid 답변을 선택함으로써 이 효과를 완화하는 데 도움을 줍니다. 우리는 단일 문서 QA 작업에서 medoid voting을 평가하여 최대 24%의 정확도 향상을 달성했습니다.
본 논문은 지시 기반 이미지 편집을 위한 대규모(약 400만 개의 편집 샘플) 자동 생성 데이터셋인 UltraEdit를 소개합니다. 우리의 핵심 아이디어는 InstructPix2Pix 및 MagicBrush와 같은 기존 이미지 편집 데이터셋의 단점을 해결하고, 대규모 고품질 이미지 편집 샘플을 생성하기 위한 체계적인 접근 방식을 제공하는 것입니다. UltraEdit는 다음과 같은 여러 가지 독특한 장점을 제공합니다: 1) 대형 언어 모델(LLM)의 창의성과 인간 평가자의 문맥 내 편집 예시를 활용하여 더 넓은 범위의 편집 지시를 포함합니다; 2) 실제 이미지(사진 및 예술 작품 포함)를 기반으로 한 데이터 소스를 사용하여 텍스트-이미지 모델만으로 생성된 데이터셋에 비해 더 큰 다양성과 편향 감소를 제공합니다; 3) 고품질의 자동 생성 영역 주석을 통해 영역 기반 편집을 지원합니다. 우리의 실험 결과, UltraEdit로 훈련된 표준 확산 기반 편집 모델은 MagicBrush 및 Emu-Edit 벤치마크에서 새로운 기록을 세웠습니다. 또한, 분석을 통해 실제 이미지 앵커와 영역 기반 편집 데이터의 중요성을 확인했습니다. 데이터셋, 코드 및 모델은 https://ultra-editing.github.io에서 확인할 수 있습니다.
최근 3D AIGC(인공지능 생성 콘텐츠)의 발전은 텍스트와 이미지로부터 직접 3D 객체를 생성하는 데 있어 유망한 가능성을 보여주며, 애니메이션 및 제품 디자인 분야에서 상당한 비용 절감을 제공하고 있습니다. 그러나 3D 자산의 세부 편집과 커스터마이징은 여전히 오랜 과제로 남아 있습니다. 특히, 3D 생성 방법은 2D 이미지 생성과 비교할 때 세밀한 지시를 정확히 따르는 능력이 부족합니다. 예를 들어, 3D AIGC를 통해 장난감을 얻을 수 있지만 원하지 않는 액세서리와 옷이 포함될 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 편집 가능한 양면 이미지로부터 맞춤형 3D 자산을 신속하게 생성하는 Tailor3D라는 새로운 파이프라인을 제안합니다. 우리는 재단사의 능력을 모방하여 객체를 부분적으로 변경하거나 전체적인 스타일 전환을 수행하는 것을 목표로 합니다. 다중 뷰에서 3D 자산을 생성하는 것과 달리, 양면 이미지를 사용하면 개별 뷰를 편집할 때 발생하는 중첩 영역의 충돌을 제거할 수 있습니다. 구체적으로, 이 방법은 프론트 뷰를 먼저 편집한 다음, 다중 뷰 확산을 통해 객체의 백 뷰를 생성합니다. 이후 백 뷰를 편집하고, 마지막으로 Dual-sided LRM(Latent Representation Model)을 통해 프론트와 백 3D 특징을 원활하게 결합합니다. 이는 재단사가 옷의 앞뒤를 꿰매는 것과 유사합니다. Dual-sided LRM은 프론트와 백 뷰 간의 불완전한 일관성을 수정하여 편집 능력을 향상시키고 메모리 부담을 줄이며, LoRA Triplane Transformer를 통해 이를 통합된 3D 표현으로 원활하게 통합합니다. 실험 결과는 Tailor3D가 3D 생성 및 편집 작업, 특히 3D 생성 채우기 및 스타일 전환에서의 효과를 입증합니다. 이는 사용자 친화적이고 효율적인 3D 자산 편집 솔루션을 제공하며, 각 편집 단계는 단 몇 초만에 완료됩니다.
최근 오픈소스 코드 대형 언어 모델(LLM)의 발전은 GPT-3.5 및 GPT-4와 같은 강력한 클로즈드소스 LLM에서 생성된 데이터를 미세 조정하여 놀라운 코딩 능력을 보여주었습니다. 본 논문은 클로즈드소스 LLM에 쿼리하는 대신, 명령어 튜닝된 코드 LLM을 스스로 생성한 데이터를 통해 어떻게 더욱 개선할 수 있는지 탐구합니다. 우리의 주요 관찰은 형식 언어(즉, 코드)와 비형식 언어(즉, 자연어) 간의 번역 불일치에 있습니다: 형식 언어를 비형식 언어로 번역하는 것이 그 반대보다 더 직관적입니다. 이 관찰을 바탕으로, 우리는 코드 스니펫에서 명령어를 요약하는 INVERSE-INSTRUCT를 제안합니다. 구체적으로, 코드에 대한 명령어 튜닝 코퍼스와 그 결과로 얻은 명령어 튜닝된 코드 LLM이 주어졌을 때, 코드 요약 및 자체 평가를 통해 원본 코퍼스에 대한 추가적인 고품질 명령어를 생성하도록 코드 LLM에 요청합니다. 그런 다음, 원본 코퍼스와 자체 생성된 코퍼스를 결합하여 기본 LLM을 미세 조정함으로써 더 강력한 명령어 튜닝된 LLM을 얻습니다. 우리는 InverseCoder라는 일련의 코드 LLM을 제시하며, 이는 Python 텍스트-코드 생성, 다국어 코딩, 데이터 과학 코드 생성 등 다양한 벤치마크에서 원본 코드 LLM의 성능을 능가합니다.
대규모 텍스트-투-비디오(T2V) 확산 모델은 최근 자연어 설명을 놀랍도록 사실적인 비디오로 변환하는 전례 없는 능력을 보여주었습니다. 그러나 이러한 모델들은 여러 개념과 행동 간의 복잡한 구성적 상호작용을 완전히 이해하는 데 어려움을 겪는 중요한 문제가 남아 있습니다. 이 문제는 일부 단어가 최종 비디오에 지배적인 영향을 미쳐 다른 개념들을 가려버릴 때 발생합니다. 이 문제를 해결하기 위해, 우리는 모든 개념이 적절하게 표현되도록 명시적으로 보장하는 구성적 비디오 생성 프레임워크인 Vico를 소개합니다. Vico의 핵심은 입력 토큰이 생성된 비디오에 미치는 영향을 분석하고, 단일 개념이 지배하지 않도록 모델을 조정하는 것입니다. 구체적으로, Vico는 모든 레이어에서 주의 가중치를 추출하여 시공간적 주의 그래프를 구축한 후, 소스 텍스트 토큰에서 비디오 타겟 토큰까지의 최대 흐름을 영향력으로 추정합니다. 확산 모델에서 주의 흐름을 직접 계산하는 것은 일반적으로 불가능하지만, 우리는 부분 그래프 흐름을 기반으로 한 효율적인 근사 방법을 고안하고 빠르고 벡터화된 구현을 사용하여 흐름 계산을 관리 가능하고 미분 가능하게 만듭니다. 노이즈가 있는 잠재 공간을 업데이트하여 이러한 흐름을 균형 있게 조정함으로써, Vico는 복잡한 상호작용을 포착하고 결과적으로 텍스트 설명에 밀접하게 부합하는 비디오를 생성합니다. 우리는 이 방법을 구성적 T2V 및 비디오 편집을 위한 여러 확산 기반 비디오 모델에 적용했습니다. 실험 결과는 우리의 프레임워크가 생성된 비디오의 구성적 풍부함과 정확성을 크게 향상시킨다는 것을 보여줍니다. 자세한 내용은 웹사이트 https://adamdad.github.io/vico/를 방문해 주세요.
대규모 시각 언어 모델(LVLMs)은 종종 객체 환각 현상을 겪으며, 주어진 이미지에 존재하지 않는 객체를 생성합니다. 현재의 객체 환각 벤치마크는 주로 단일 객체 클래스의 존재 여부에 초점을 맞추고 개별 엔티티보다는 클래스 수준에서 평가하지만, 본 연구는 다중 객체 환각을 체계적으로 조사하여 모델이 여러 객체에 동시에 주의를 기울일 때 어떻게 잘못 인지하는지(예: 존재하지 않는 객체를 만들어내거나 주의가 분산되는지)를 검토합니다. 우리는 Recognition-based Object Probing Evaluation(ROPE)을 도입했습니다. 이는 테스트 중 단일 이미지 내 객체 클래스의 분포를 고려하고 시각적 참조 프롬프트를 사용하여 모호성을 제거하는 자동화된 평가 프로토콜입니다. 다중 객체 환각을 유발할 수 있는 잠재적 요인에 대한 포괄적인 실험적 연구와 분석을 통해 다음과 같은 사실을 발견했습니다: (1) LVLMs은 단일 객체에 초점을 맞출 때보다 여러 객체에 초점을 맞출 때 더 많은 환각 현상을 겪습니다. (2) 테스트된 객체 클래스 분포는 환각 행동에 영향을 미치며, 이는 LVLMs이 단순한 경로와 허위 상관관계를 따를 수 있음을 시사합니다. (3) 환각 행동은 데이터 특정 요인, 두드러짐 및 빈도, 그리고 모델의 내재적 행동에 의해 영향을 받습니다. 우리는 LVLMs이 현실적인 시각적 장면에서 자주 발생하는 여러 객체를 인식하고 추론할 수 있도록 하고, 이러한 문제를 완화하기 위한 진전을 통찰과 함께 정량화하고자 합니다.
최근 대규모 언어 모델(LLM)의 부상으로 인해 플러그 앤 플레이(plug-and-play) AI 시스템에 대한 수요가 증가하고 있다. 다양한 AI 기술 중에서 프롬프트 엔지니어링은 특히 중요한 역할을 하고 있다. 그러나 사용자들은 프롬프트 작성에 있어 높은 학습 곡선과 상당한 시간 투자로 인해 어려움을 겪고 있으며, 기존의 자동 프롬프트 엔지니어링(APE) 모델들은 사용하기 어려운 경우가 많다. 이러한 문제를 해결하기 위해, 우리는 LLM 기반의 플러그 앤 플레이 APE 시스템인 PAS를 제안한다. PAS는 고품질의 자동 생성 프롬프트 보완 데이터셋으로 학습된 LLM을 활용하여 탁월한 성능을 보인다. 포괄적인 벤치마크에서 PAS는 기존 APE 모델들과 비교하여 평균 6.09점의 향상을 이루며 최신 기술 수준(SoTA)의 결과를 달성했다. 또한 PAS는 단 9000개의 데이터 포인트만으로도 SoTA 성능을 달성할 만큼 매우 효율적이다. 더불어 PAS는 추가적인 인간 노동 없이도 프롬프트 증강 데이터를 자율적으로 생성할 수 있다. 그 유연성 덕분에 모든 기존 LLM과 호환되며 다양한 작업에 적용 가능하다. PAS는 인간 평가에서도 우수한 성적을 거두며, 사용자를 위한 플러그인으로서의 적합성을 입증했다. 이러한 높은 성능, 효율성, 유연성의 조합은 PAS를 통해 개선된 프롬프트 엔지니어링으로 LLM의 사용성과 효과성을 높이는 데 있어 가치 있는 시스템으로 만든다.
특수한 작업을 위해 배포 가능한 모델을 만드는 가장 신뢰할 수 있는 방법 중 하나는 충분한 양의 고품질 작업별 데이터를 확보하는 것입니다. 그러나 특수한 작업의 경우, 종종 그러한 데이터셋이 존재하지 않습니다. 기존 방법들은 대형 언어 모델(LLM)로부터 이러한 데이터를 생성한 후, 이 지식을 더 작은 모델로 증류하는 방식으로 이 문제를 해결합니다. 그러나 이러한 방법들은 LLM 출력의 품질에 제한을 받으며, 반복적이거나 잘못된 데이터를 생성하는 경향이 있습니다. 본 연구에서는 Retrieval Based Distillation(ReBase)이라는 방법을 제안합니다. 이 방법은 먼저 풍부한 온라인 소스에서 데이터를 검색한 후, 이를 도메인별 데이터로 변환합니다. 이 방법은 데이터 다양성을 크게 향상시킵니다. 또한, ReBase는 Chain-of-Thought 추론을 생성하고 LLM의 추론 능력을 증류합니다. 우리는 이 방법을 4개의 벤치마크에서 테스트했으며, 그 결과 SQuAD에서 최대 7.8%, MNLI에서 1.37%, BigBench-Hard에서 1.94%의 성능 향상을 보였습니다.
최근 연구들은 딥러닝 모델이 단순한 특징을 선호하는 귀납적 편향이 단축 학습(shortcut learning)의 원인 중 하나일 수 있다고 제안합니다. 그러나 모델이 학습하는 다양한 특징들의 복잡성을 이해하려는 노력은 제한적이었습니다. 본 연구에서는 V-정보(V-information)를 기반으로 특징 복잡성을 정량화하는 새로운 지표를 제안합니다. 이 지표는 특징을 추출하기 위해 복잡한 계산적 변환이 필요한지를 포착합니다. 이 V-정보 지표를 사용하여, 표준 ImageNet으로 학습된 비전 모델에서 추출된 10,000개의 특징(최종 직전 계층에서의 방향으로 표현됨)의 복잡성을 분석합니다. 우리의 연구는 네 가지 핵심 질문을 다룹니다: 첫째, 복잡성에 따른 특징의 양상을 살펴보고, 모델 내에 단순한 것부터 복잡한 것까지 다양한 스펙트럼의 특징이 존재함을 발견합니다. 둘째, 특징이 학습 과정 중 언제 학습되는지를 조사합니다. 단순한 특징은 학습 초기에 주로 나타나고, 복잡한 특징은 점진적으로 등장함을 확인합니다. 셋째, 단순 및 복잡 특징이 네트워크 내 어디에서 흐르는지를 탐구합니다. 단순한 특징은 잔차 연결(residual connections)을 통해 시각적 계층 구조를 우회하는 경향이 있음을 발견합니다. 넷째, 특징의 복잡성과 네트워크의 의사결정에서의 중요성 간의 관계를 탐색합니다. 복잡한 특징은 일반적으로 덜 중요한 경향이 있음을 확인합니다. 흥미롭게도, 중요한 특징은 학습 과정 중 더 초기 계층에서 접근 가능해지며, 이는 침전 과정과 유사하게 모델이 이러한 기초 요소를 바탕으로 구축할 수 있게 합니다.
본 논문은 사용자가 "선택"할 수 있도록 함으로써 생성형 시각 AI에서의 창의적 제어를 추진합니다. 기존의 텍스트 또는 스케치 기반 방법에서 벗어나, 우리는 처음으로 사용자가 창의적 작업을 위해 시각적 개념을 부분적으로 선택할 수 있도록 합니다. 그 결과, 선택된 시각적 개념을 정확히 포착하는 세밀한 생성이 가능하며, 전체적으로 충실하고 그럴듯한 결과를 보장합니다. 이를 위해, 우리는 먼저 비지도 특징 클러스터링을 통해 객체를 부분으로 분해합니다. 그런 다음, 부분을 텍스트 토큰으로 인코딩하고, 이들에 대해 엔트로피 기반 정규화 주의 손실을 도입합니다. 이 손실 설계는 우리 모델이 객체의 부분 구성에 대한 일반적인 사전 토폴로지 지식을 학습하고, 새로운 부분 구성으로 일반화하여 생성이 전체적으로 충실하게 보이도록 합니다. 마지막으로, 우리는 부분 토큰을 투영하기 위해 병목 인코더를 사용합니다. 이는 공유 지식을 활용하고 인스턴스 간 정보 교환을 촉진함으로써 충실도를 향상시키고 학습을 가속화합니다. 논문과 보충 자료의 시각적 결과는 PartCraft가 "매력적"이고 창의적인 새를 예로 들어 매우 맞춤화된 혁신적인 창작물을 제작하는 강력한 능력을 보여줍니다. 코드는 https://github.com/kamwoh/partcraft에서 공개되었습니다.
엔티티 링크(Entity Linking, EL) 모델은 주어진 문맥에 따라 언급(mention)을 해당 엔티티에 매핑하는 데 잘 훈련되어 있습니다. 그러나 EL 모델은 학습 데이터가 제한적이기 때문에 롱테일(long-tail) 엔티티를 명확히 구분하는 데 어려움을 겪습니다. 반면, 대형 언어 모델(Large Language Models, LLMs)은 흔하지 않은 언급을 해석하는 데 더 강건한 성능을 보입니다. 하지만 특화된 훈련이 부족하기 때문에 LLMs는 정확한 엔티티 ID를 생성하는 데 취약합니다. 또한, LLM을 EL 작업에 맞게 훈련시키는 것은 비용이 많이 듭니다. 이러한 통찰을 바탕으로, 우리는 LLM 데이터 증강을 통해 엔티티 링크를 강화하는 플러그 앤 플레이(plug-and-play) 접근 방식인 LLM-Augmented Entity Linking(LLMAEL)을 소개합니다. 우리는 LLM을 지식이 풍부한 문맥 증강기로 활용하여, 언급 중심의 설명을 추가 입력으로 생성하고, 전통적인 EL 모델을 작업 특화 처리에 그대로 사용합니다. 6개의 표준 데이터셋에서의 실험 결과, 기본 버전의 LLMAEL은 대부분의 경우에서 기준 EL 모델을 능가하며, 미세 조정된 LLMAEL은 모든 6개 벤치마크에서 새로운 최첨단(state-of-the-art) 결과를 달성했습니다.
대규모 언어 모델(LLM)은 다양한 도메인과 광범위한 응용 분야에서 장문 질의응답 작업 시 환각 현상을 보입니다. 현재의 환각 탐지 및 완화 데이터셋은 도메인과 규모 측면에서 제한적이며, 과도한 노동 비용과 기존 환각 주석 도구의 신뢰성 부족으로 인해 확장에 어려움을 겪고 있습니다. LLM 환각 현상의 확장 가능한 감독을 용이하게 하기 위해, 본 논문은 환각 주석 데이터셋을 점진적으로 확장하고 환각 주석 도구의 정확도를 동시에 개선하는 반복적 자기 학습 프레임워크를 소개합니다. 기대값 최대화(EM) 알고리즘을 기반으로, 각 반복에서 이 프레임워크는 먼저 환각 주석 파이프라인을 적용하여 확장된 데이터셋에 주석을 달고, 그 다음 이 데이터셋을 사용해 더 정확한 환각 주석 도구를 학습합니다. 이 새로운 환각 주석 도구는 다음 반복에 사용될 환각 주석 파이프라인에 적용됩니다. 광범위한 실험 결과, 최종적으로 얻은 7B 파라미터 규모의 환각 주석 도구는 GPT-4의 성능을 능가하며, HaluEval과 HalluQA에서 제로샷 추론을 통해 새로운 최첨단 환각 탐지 결과를 달성했습니다. 이러한 주석 도구는 대규모 데이터셋에서 다양한 LLM의 환각 수준을 평가할 수 있을 뿐만 아니라, LLM 생성물의 환각 현상을 완화하는 데도 도움을 줄 수 있으며, HaluEval에서 자연어 추론(NLI) 지표가 25%에서 37%로 증가했습니다.