번역이 포함된 일일 선별된 AI 연구 논문
오픈소스 대규모 언어 모델(LLM)과 그 변형 모델들(예: LLaMA, Vicuna)의 발전에도 불구하고, 이러한 모델들은 외부 도구(API)를 사용하여 인간의 지시를 따르는 것과 같은 고수준 작업을 수행하는 데 여전히 상당한 한계를 보입니다. 이는 현재의 지시 튜닝(instruction tuning)이 기본적인 언어 작업에 초점을 맞추고 있으며, 도구 사용 영역에 충분히 집중하지 않기 때문입니다. 이는 최첨단(State-of-the-Art, SOTA) LLM들(예: ChatGPT)과 대조적입니다. ChatGPT는 뛰어난 도구 사용 능력을 보여주었지만, 아쉽게도 오픈소스가 아닙니다. 오픈소스 LLM 내에서 도구 사용 능력을 강화하기 위해, 우리는 ToolLLM을 소개합니다. ToolLLM은 데이터 구축, 모델 학습 및 평가를 위한 일반적인 도구 사용 프레임워크입니다. 먼저, 우리는 ChatGPT를 사용하여 자동으로 생성된 도구 사용을 위한 지시 튜닝 데이터셋인 ToolBench를 제시합니다. 구체적으로, 우리는 RapidAPI Hub에서 49개 카테고리에 걸친 16,464개의 실제 RESTful API를 수집한 후, ChatGPT를 활용하여 이러한 API를 포함한 다양한 인간 지시문을 생성합니다. 이는 단일 도구 및 다중 도구 시나리오를 모두 포함합니다. 마지막으로, ChatGPT를 사용하여 각 지시문에 대한 유효한 해결 경로(API 호출 체인)를 탐색합니다. 탐색 과정을 더 효율적으로 만들기 위해, 우리는 깊이 우선 탐색 기반 의사결정 트리(Depth-First Search-based Decision Tree, DFSDT)를 개발하여 LLM이 여러 추적 경로를 평가하고 탐색 공간을 확장할 수 있도록 합니다. 우리는 DFSDT가 LLM의 계획 및 추론 능력을 크게 향상시킨다는 것을 보여줍니다. 효율적인 도구 사용 평가를 위해, 우리는 자동 평가 도구인 ToolEval을 개발했습니다. 우리는 ToolBench를 사용하여 LLaMA를 미세 조정하고 ToolLLaMA를 얻었습니다. ToolEval을 통해 ToolLLaMA가 복잡한 지시문을 실행하고 보지 못한 API에 일반화하는 능력이 뛰어나며, ChatGPT와 비슷한 성능을 보인다는 것을 확인했습니다. 파이프라인을 더 실용적으로 만들기 위해, 우리는 각 지시문에 적합한 API를 추천하는 신경망 API 검색기를 설계하여 수동 API 선택의 필요성을 없앴습니다.
본 연구는 대규모 언어 모델(LLM)의 종단 간 생성 지연 시간을 감소시키는 것을 목표로 한다. 높은 생성 지연 시간의 주요 원인 중 하나는 거의 모든 최신 LLM에서 채택된 순차적 디코딩 접근 방식이다. 본 연구에서는 인간의 사고 및 작성 과정에서 영감을 받아 "생각의 골격(Skeleton-of-Thought, SoT)"을 제안한다. SoT는 LLM이 먼저 답변의 골격을 생성하도록 유도한 후, 병렬 API 호출 또는 배치 디코딩을 통해 각 골격 포인트의 내용을 병렬로 완성하는 방식이다. SoT는 상당한 속도 향상(11가지 서로 다른 LLM에서 최대 2.39배)을 제공할 뿐만 아니라, 다양성과 관련성 측면에서 여러 질문 범주에 대한 답변 품질을 잠재적으로 개선할 수 있다. SoT는 효율성을 위한 데이터 중심 최적화의 초기 시도이며, 답변 품질을 위해 LLM이 더 인간처럼 사고하도록 유도하는 잠재력을 보여준다.
인간 피드백을 통한 강화 학습(RLHF)은 AI 시스템이 인간의 목표와 일치하도록 훈련시키는 기술입니다. RLHF는 최첨단 대규모 언어 모델(LLM)을 미세 조정하는 데 사용되는 핵심 방법으로 부상했습니다. 이러한 인기에도 불구하고, RLHF의 결점을 체계적으로 분석한 공개된 연구는 상대적으로 적습니다. 본 논문에서 우리는 (1) RLHF 및 관련 방법의 공개된 문제와 근본적인 한계를 조사하고, (2) RLHF를 이해하고 개선하며 보완하기 위한 실용적인 기술을 개관하며, (3) RLHF 시스템에 대한 사회적 감독을 강화하기 위한 감사 및 공개 기준을 제안합니다. 우리의 연구는 RLHF의 한계를 강조하며, 더 안전한 AI 시스템 개발을 위한 다각적인 접근의 중요성을 부각시킵니다.
의학은 본질적으로 다양한 양식의 정보를 종합해야 하는 다면적인 영역입니다. 의료 생성형 시각-언어 모델(VLMs)은 이러한 방향으로의 첫걸음을 내딛으며 많은 흥미로운 임상 응용 가능성을 약속합니다. 그러나 기존 모델들은 일반적으로 상당한 규모의 하위 데이터셋에 대해 미세 조정을 해야 하는데, 이는 많은 의료 응용 분야에서 데이터가 부족한 상황에서 상당한 제약으로 작용합니다. 따라서 실시간으로 소수의 예제만으로 학습할 수 있는 모델이 필요합니다. 본 연구에서는 의료 영역에 적합한 멀티모달 소샷 학습자 Med-Flamingo를 제안합니다. OpenFlamingo-9B를 기반으로, 출판물과 교과서에서 수집한 짝지어진 및 교차된 의료 이미지-텍스트 데이터에 대해 사전 학습을 계속합니다. Med-Flamingo는 소샷 생성형 의료 시각 질의응답(VQA) 능력을 발휘하며, 이를 시각적 USMLE 스타일 문제로 구성된 새로운 도전적인 개방형 VQA 데이터셋을 포함한 여러 데이터셋에서 평가합니다. 또한, 생성형 의료 VQA에 대한 최초의 인간 평가를 진행하여 의사들이 문제와 블라인드된 생성 결과를 인터랙티브 앱에서 검토합니다. Med-Flamingo는 임상의 평가에서 생성형 의료 VQA 성능을 최대 20% 향상시키며, 근거 생성과 같은 멀티모달 의료 소샷 적응을 처음으로 가능하게 합니다. 우리는 모델, 코드, 평가 앱을 https://github.com/snap-stanford/med-flamingo에서 공개합니다.
공동 시각-언어 공간에서, 텍스트 특징(예: "강아지 사진"에서 추출)은 관련 이미지 특징(예: 강아지 사진에서 추출)을 효과적으로 표현할 수 있습니다. 이를 영감으로 삼아, 우리는 소스 없는 도메인 일반화를 다루기 위해 이미지를 사용하지 않고 프롬프트를 통해 다양한 스타일을 합성함으로써 공동 공간에서의 다양한 분포 변화를 시뮬레이션하는 PromptStyler를 제안합니다. 우리의 방법은 학습 가능한 스타일 단어 벡터를 통해 가상 단어 S*에 대한 다양한 스타일 특징("a S* style of a"에서 추출)을 생성하는 방법을 학습합니다. 학습된 스타일이 콘텐츠 정보를 왜곡하지 않도록 하기 위해, 우리는 스타일-콘텐츠 특징("a S* style of a [클래스]"에서 추출)이 공동 시각-언어 공간에서 해당 콘텐츠 특징("[클래스]"에서 추출) 근처에 위치하도록 강제합니다. 스타일 단어 벡터를 학습한 후, 우리는 합성된 스타일-콘텐츠 특징을 사용하여 선형 분류기를 학습시킵니다. PromptStyler는 PACS, VLCS, OfficeHome 및 DomainNet에서 최첨단 성능을 달성하며, 단일 GPU를 사용하여 학습에 약 30분밖에 걸리지 않고 이미지를 전혀 필요로 하지 않습니다.
우리는 특정 최대 생성 예산 범위 내에서 텍스트의 분포를 변경하지 않으면서도 섭동에 강건한 워터마크를 자동회귀 언어 모델의 텍스트에 삽입하는 방법론을 제안한다. 우리는 무작위 워터마크 키를 사용해 계산한 일련의 난수 시퀀스를 언어 모델의 샘플에 매핑하여 워터마크가 포함된 텍스트를 생성한다. 워터마크가 포함된 텍스트를 탐지하기 위해, 키를 알고 있는 어떤 당사자라도 텍스트를 난수 시퀀스에 정렬할 수 있다. 우리는 이 워터마크 방법론을 역변환 샘플링과 지수 최소 샘플링이라는 두 가지 샘플링 기법으로 구현한다. 이 워터마크를 OPT-1.3B, LLaMA-7B, Alpaca-7B 세 가지 언어 모델에 적용하여 통계적 검출력과 다양한 패러프레이징 공격에 대한 강건성을 실험적으로 검증한다. 특히, OPT-1.3B와 LLaMA-7B 모델의 경우, 토큰의 40-50%를 무작위 편집(즉, 치환, 삽입 또는 삭제)으로 손상시킨 후에도 35개의 토큰부터 워터마크가 포함된 텍스트를 신뢰적으로 탐지할 수 있음을 확인했다(p ≤ 0.01). Alpaca-7B 모델의 경우, 일반적인 사용자 지시에 대한 응답에 워터마크를 적용하는 가능성에 대한 사례 연구를 수행했다. 응답의 엔트로피가 낮기 때문에 탐지가 더 어려웠다: 중간 길이가 약 100 토큰인 응답 중 약 25%가 p ≤ 0.01로 탐지 가능했으며, 우리가 구현한 특정 자동화된 패러프레이징 공격에 대해서도 워터마크가 덜 강건했다.
인스트럭션 튜닝은 대형 언어 모델이 인간의 지시를 따르는 능력을 향상시키는 유망한 접근법으로 부상했습니다. 훈련 데이터에서 인스트럭션의 다양성과 수를 증가시키는 것이 일반화 성능을 꾸준히 향상시킬 수 있음이 입증되었으며, 이는 다양한 인스트럭션을 수집하고 기존의 인스트럭션 튜닝 데이터셋을 더 큰 컬렉션으로 통합하려는 최근의 노력을 촉진하고 있습니다. 그러나 각 사용자는 고유한 방식으로 인스트럭션을 표현하며, 서로 다른 데이터셋 간에는 인스트럭션 스타일과 형식, 즉 형식 불일치가 종종 존재합니다. 본 연구에서는 형식 불일치가 인스트럭션 튜닝의 성능에 미치는 영향을 연구합니다. 우리는 "통합 인스트럭션 튜닝"(Unified Instruction Tuning, UIT)이라는 프레임워크를 제안하며, 이는 서로 다른 인스트럭션 튜닝 데이터셋 간의 자동 형식 변환을 위해 OpenAI API를 호출합니다. UIT가 보이지 않는 인스트럭션에 대한 일반화 성능을 성공적으로 개선함으로써, 인스트럭션 튜닝에서 형식 일관성의 중요성을 강조합니다. UIT 프레임워크를 더 실용적으로 만들기 위해, 우리는 자동 형식 변환의 노이즈를 줄이기 위한 새로운 퍼플렉시티 기반 노이즈 제거 방법을 추가로 제안합니다. 또한, OpenAI API와 비슷한 수준의 형식 변환 능력을 달성하는 더 작은 오프라인 모델을 훈련시켜 실제 비용을 절감합니다.
암시적 신경 표현(implicit neural representations) 또는 신경 방사 필드(NeRF)의 인기가 높아짐에 따라, 재구성된 장면의 후처리나 3D 콘텐츠 생성과 같은 작업을 위해 암시적 3D 모델과 상호작용할 수 있는 편집 방법이 시급히 요구되고 있습니다. 기존 연구들은 다양한 관점에서 NeRF 편집을 탐구했지만, 편집의 유연성, 품질, 속도 측면에서 제한적이어서 직접적인 편집 응답과 즉각적인 미리보기를 제공하지 못했습니다. 핵심 과제는 편집 지시를 직접 반영하고 즉시 업데이트할 수 있는 지역적으로 편집 가능한 신경 표현을 구상하는 것입니다. 이러한 격차를 해소하기 위해, 우리는 Seal-3D라는 새로운 암시적 표현을 위한 인터랙티브 편집 방법과 시스템을 제안합니다. 이 시스템은 사용자가 다양한 NeRF 유사 백본을 사용하여 픽셀 단위로 자유롭게 NeRF 모델을 편집하고 편집 효과를 즉시 미리볼 수 있도록 합니다. 이러한 효과를 달성하기 위해, 우리는 편집 지시를 NeRF 모델의 원본 공간으로 매핑하는 프록시 함수와 지역적 사전 학습 및 전역적 미세 조정을 포함한 교사-학생 학습 전략을 제안하여 과제를 해결했습니다. 다양한 편집 유형을 보여주기 위해 NeRF 편집 시스템을 구축했으며, 이 시스템은 약 1초의 인터랙티브 속도로 매력적인 편집 효과를 달성할 수 있습니다.