번역이 포함된 일일 선별된 AI 연구 논문
본 연구에서는 70억에서 700억 개의 파라미터 규모를 가진 사전 학습 및 미세 조정된 대규모 언어 모델(LLM) 모음인 Llama 2를 개발 및 공개합니다. Llama 2-Chat으로 명명된 우리의 미세 조정된 LLM은 대화형 사용 사례에 최적화되어 있습니다. 우리의 모델은 테스트한 대부분의 벤치마크에서 오픈소스 채팅 모델을 능가하며, 유용성과 안전성에 대한 인간 평가를 기반으로 폐쇄형 모델의 적절한 대체재가 될 수 있습니다. 우리는 Llama 2-Chat의 미세 조정 및 안전성 개선 접근 방식에 대한 상세한 설명을 제공하여 커뮤니티가 우리의 연구를 기반으로 구축하고 LLM의 책임 있는 개발에 기여할 수 있도록 합니다.
GPT-3.5와 GPT-4는 현재 가장 널리 사용되는 대규모 언어 모델(LLM) 서비스입니다. 그러나 이러한 모델이 언제, 어떻게 업데이트되는지는 불투명합니다. 본 연구에서는 2023년 3월과 6월 버전의 GPT-3.5와 GPT-4를 네 가지 다양한 작업에 대해 평가했습니다: 1) 수학 문제 해결, 2) 민감/위험한 질문에 답변, 3) 코드 생성, 4) 시각적 추론. 우리는 GPT-3.5와 GPT-4의 성능과 행동이 시간에 따라 크게 달라질 수 있음을 발견했습니다. 예를 들어, GPT-4(2023년 3월)는 소수 식별에서 매우 뛰어난 성능(정확도 97.6%)을 보였지만, GPT-4(2023년 6월)는 동일한 질문에서 매우 낮은 성능(정확도 2.4%)을 보였습니다. 흥미롭게도 GPT-3.5(2023년 6월)는 이 작업에서 GPT-3.5(2023년 3월)보다 훨씬 더 나은 성능을 보였습니다. GPT-4는 6월에 민감한 질문에 답변하려는 의지가 3월보다 줄어들었으며, GPT-4와 GPT-3.5 모두 6월에 코드 생성에서 더 많은 형식 오류를 보였습니다. 전반적으로, 우리의 연구 결과는 동일한 LLM 서비스의 행동이 비교적 짧은 시간 내에 상당히 변화할 수 있음을 보여주며, 이는 LLM 품질에 대한 지속적인 모니터링의 필요성을 강조합니다.
회로 분석(Circuit analysis)은 언어 모델의 내부 메커니즘을 이해하기 위한 유망한 기술입니다. 그러나 기존 분석들은 최신 기술 수준과는 거리가 먼 소규모 모델에서 수행되었습니다. 이를 해결하기 위해, 우리는 70B Chinchilla 모델에서의 회로 분석 사례 연구를 제시하며, 회로 분석의 확장성을 테스트하고자 합니다. 특히, 우리는 객관식 문제 답변을 연구하고, 정답 텍스트를 알고 있는 상황에서 Chinchilla가 정답 라벨을 식별하는 능력을 조사합니다. 우리는 로짓 귀속(Logit attribution), 어텐션 패턴 시각화(Attention pattern visualization), 그리고 활성화 패칭(Activation patching)과 같은 기존 기술들이 Chinchilla에 자연스럽게 확장 가능함을 발견했으며, 이를 통해 소규모의 '출력 노드'(어텐션 헤드와 MLP)를 식별하고 분류할 수 있었습니다. 또한, 우리는 '정답 문자' 카테고리의 어텐션 헤드를 연구하여 이들의 특징 의미를 이해하고자 했으나, 혼재된 결과를 얻었습니다. 일반적인 객관식 문제 답변의 경우, 답변 라벨에 대해 작동할 때 쿼리, 키, 그리고 값 부분 공간을 성능 저하 없이 상당히 압축할 수 있었으며, 쿼리와 키 부분 공간이 '열거에서 N번째 항목'이라는 특징을 어느 정도 나타냄을 보였습니다. 그러나 이 설명을 무작위 답변 라벨을 포함한 더 일반적인 분포에서의 헤드 동작을 이해하는 데 사용하려고 시도했을 때, 이는 부분적인 설명에 불과함을 발견했습니다. 이는 객관식 문제 답변에서 '정답 문자' 헤드의 동작에 대해 더 알아볼 필요가 있음을 시사합니다.
CLIP과 같은 이미지-텍스트 대조 모델은 제로샷 분류, 이미지-텍스트 검색 및 전이 학습을 포함한 다양한 다운스트림 애플리케이션에 유용합니다. 그러나 이러한 대조 학습 방식의 시각-언어 모델은 Winoground와 같은 구성적 시각-언어 작업에서 무작위 추측 수준의 성능을 보이며 종종 실패합니다. 본 논문에서는 이 문제를 해결하고 CLIP의 구성적 시각-언어 추론 능력을 향상시키기 위해 SDS-CLIP이라는 샘플 효율적이고 경량화된 방법을 제안합니다. 우리 방법의 핵심 아이디어는 Stable-Diffusion과 같은 대규모 텍스트-이미지 생성 모델로부터의 지식 증류 목적을 사용하여 CLIP을 미세 조정하는 데 미분 가능한 이미지 파라미터화를 활용하는 것입니다. 이러한 생성 모델은 시각-언어 추론 작업에서 상대적으로 우수한 성능을 보입니다. 도전적인 Winoground 구성적 추론 벤치마크에서 우리의 방법은 다양한 CLIP 모델의 절대적 시각-언어 성능을 최대 7%까지 향상시켰으며, ARO 데이터셋에서는 최대 3%의 성능 향상을 보였습니다. 또한, CLIP에 시각-언어 추론 능력을 유도하는 부산물로 다양한 다운스트림 데이터셋에서 제로샷 성능이 소폭 개선되는 것을 확인했습니다. 우리의 방법은 생성 모델로부터 신중하게 설계된 증류 목적을 활용하여 기존의 대조적 이미지-텍스트 모델을 확장하고 시각-언어 추론 능력을 개선할 수 있음을 강조합니다.
단일 뷰 RGB-D 입력을 기반으로 한 3D 재구성 분야에서 놀라운 진전이 이루어졌습니다. MCC는 이 분야에서 현재 최첨단 기술로, 비전 트랜스포머와 대규모 학습을 결합하여 전례 없는 성공을 거두었습니다. 그러나 우리는 MCC의 두 가지 주요 한계를 확인했습니다: 1) 트랜스포머 디코더가 대량의 쿼리 포인트를 처리하는 데 비효율적이며, 2) 3D 표현이 고해상도 디테일을 복원하는 데 어려움을 겪는다는 점입니다. 본 논문에서는 이러한 한계를 해결하기 위해 NU-MCC라는 새로운 접근 방식을 제안합니다. NU-MCC는 두 가지 주요 혁신을 포함합니다: Neighborhood 디코더와 Repulsive Unsigned Distance Function (Repulsive UDF)입니다. 먼저, Neighborhood 디코더는 입력 시각적 특징의 효율적인 프록시로 중심 포인트를 도입하여 각 쿼리 포인트가 작은 이웃에만 주의를 기울이도록 합니다. 이 설계는 더 빠른 추론 속도를 제공할 뿐만 아니라 더 미세한 스케일의 시각적 특징을 활용하여 3D 텍스처 복원을 개선합니다. 둘째, Repulsive UDF는 MCC에서 사용되는 점유 필드(occupancy field)의 새로운 대안으로, 3D 객체 재구성의 품질을 크게 향상시킵니다. 결과물에 구멍이 생기는 문제가 있는 표준 UDF와 비교하여, 우리가 제안한 Repulsive UDF는 더 완전한 표면 재구성을 달성할 수 있습니다. 실험 결과는 NU-MCC가 강력한 3D 표현을 학습할 수 있음을 보여주며, 단일 뷰 3D 재구성 분야의 최신 기술을 크게 발전시켰습니다. 특히, CO3D-v2 데이터셋에서 F1 점수 기준으로 MCC를 9.7% 앞섰으며, 실행 속도는 5배 이상 빨라졌습니다.
우리는 세포 자동자(Cellular Automata, CA)를 활용한 Biome Maker 프로젝트인 Biomaker CA를 소개합니다. Biomaker CA에서는 형태 발생(morphogenesis)이 핵심 요소로, 작은 씨앗들이 영양분이 부족한 환경에서 생존하기 위해 식물과 유사한 생물체로 성장하고, 결국 변이를 통해 번식함으로써 장기간 생물 군집(biome)이 유지되도록 합니다. 우리는 2D 그리드에서 CA 규칙을 통해 복잡한 생물 군집을 시뮬레이션하고, Python JAX 프레임워크를 사용하여 모든 계산을 GPU에서 병렬 처리합니다. 이 프로젝트가 다양한 환경과 '물리 법칙', 그리고 다양한 모델 아키텍처와 변이 전략을 어떻게 지원하는지 보여줍니다. 또한, 식물 에이전트가 어떻게 성장, 생존, 번식, 진화하며 안정적이거나 불안정한 생물 군집을 형성하는지 일부 구성에 대해 분석합니다. 더 나아가, 엔드투엔드 메타-진화(meta-evolution) 또는 더 정교하고 효율적인 접근 방식인 페트리 접시 메타-진화(Petri dish meta-evolution)를 통해 가혹한 환경에서 생존할 수 있는 모델을 메타-진화시키는 방법을 시연합니다. 마지막으로, 사용자가 상호작용적으로 식물 모델을 진화시키고 이를 더 큰 환경에 배치하는 인터랙티브 진화(interactive evolution)를 수행하는 방법을 보여줍니다. Biomaker CA는 https://tinyurl.com/2x8yu34s 에서 오픈소스로 공개되었습니다.