대형 시각 및 언어 모델 개선: 동료 패널 학습을 통한 접근

초록

대형 시각 및 언어 모델(LVLMs)을 위한 전통적인 정렬 방법은 주로 인간이 선별한 선호도 데이터에 의존합니다. 인간이 생성한 선호도 데이터는 비용이 많이 들고, 기계가 생성한 선호도 데이터는 품질이 제한적이며, 자기 지도 방식의 선호도 데이터는 종종 환각 현상을 유발합니다. 이러한 한계를 극복하기 위해, 우리는 인간 간의 협력 학습에서 영감을 받은 새로운 '패널-오브-피어스(Panel-of-Peers)' 학습 프레임워크를 제안합니다. 이 접근 방식은 LVLMs 패널을 활용하여, 각 모델이 반복적인 자기 개선 과정을 통해 집단적 출력을 평가하고 학습합니다. 동료 검토 시스템을 시뮬레이션함으로써, 우리의 모델은 선별된 프롬프트 세트에 대해 출력을 생성, 평가, 개선하며, 교실 학습 환경을 모방합니다. 우리는 이 방법론이 광범위한 인간 레이블 데이터셋을 요구하지 않으면서도 모델 성능을 향상시킨다는 것을 입증합니다. 실험 결과, 여러 벤치마크에서 상당한 개선이 나타났으며, 이는 자기 지도 정렬에 대한 확장 가능한 대안으로서 동료 평가의 잠재력을 보여줍니다. 특히, '패널-오브-피어스'는 15개 벤치마크에서 평균 점수를 48%에서 57%로 증가시켰습니다.

English

Traditional alignment methods for Large Vision and Language Models (LVLMs) primarily rely on human-curated preference data. Human-generated preference data is costly; machine-generated preference data is limited in quality; and self-supervised preference data often introduces hallucinations. To overcome these limitations, we propose a novel Panel-of-Peers learning framework inspired by collaborative learning among humans. This approach leverages a panel of LVLMs, each evaluating and learning from their collective outputs through an iterative self-improvement process. By simulating a peer review system, our models generate, assess, and refine outputs in response to a curated set of prompts, mimicking a classroom learning environment. We demonstrate that this methodology enhances model performance without requiring extensive human-labeled datasets. Our experiments show significant improvement across multiple benchmarks, demonstrating the potential of peer evaluations as a scalable alternative to self-supervised alignment. Notably, we show that Panel-of-Peers increases the average score on fifteen benchmarks from 48% to 57%

대형 시각 및 언어 모델 개선: 동료 패널 학습을 통한 접근

Improving Large Vision and Language Models by Learning from a Panel of Peers

초록

Support