일간 논문

대규모 언어 모델(LLM)의 은닉 표현에 인코딩된 정보를 검사함으로써 모델의 행동을 설명하고 인간의 가치와의 일치 여부를 검증할 수 있습니다. LLM이 인간이 이해할 수 있는 텍스트를 생성하는 능력을 고려할 때, 우리는 모델 자체를 활용하여 그 내부 표현을 자연어로 설명하는 방법을 제안합니다. 우리는 '패치스코프(Patchscopes)'라는 프레임워크를 소개하고, 이를 통해 LLM의 계산에 관한 다양한 연구 질문에 답할 수 있는 방법을 보여줍니다. 우리는 표현을 어휘 공간에 투영하고 LLM 계산에 개입하는 기존의 해석 가능성 방법들이 이 프레임워크의 특수한 사례로 간주될 수 있음을 보여줍니다. 또한, 초기 레이어 검사 실패나 표현력 부족과 같은 기존 방법의 단점들은 패치스코프를 통해 완화될 수 있습니다. 패치스코프는 기존 검사 기술을 통합하는 것을 넘어, 더 강력한 모델을 사용하여 더 작은 모델의 표현을 설명하거나, 다중 단계 추론에서의 자기 수정과 같은 새로운 응용 가능성을 열어줍니다.

멀티모달 대형 언어 모델은 다양한 모달리티에서의 여러 작업에서 인상적인 성능을 보여주고 있습니다. 그러나 기존의 멀티모달 모델은 주로 각 모달리티 내의 전역 정보를 포착하는 데 중점을 두면서, 모달리티 간의 지역 정보를 인식하는 중요성을 간과하고 있습니다. 결과적으로, 이러한 모델은 입력 데이터의 세부 사항을 효과적으로 이해하는 능력이 부족하여, 더 미묘한 이해를 요구하는 작업에서의 성능이 제한됩니다. 이러한 한계를 해결하기 위해, 여러 모달리티에 걸친 세부적인 이해를 가능하게 하는 모델을 개발할 필요가 있습니다. 이를 통해 다양한 작업에 대한 적용 가능성을 향상시킬 수 있습니다. 본 논문에서는 언어 강화 멀티모달 그라운딩 모델인 LEGO를 제안합니다. 다른 멀티모달 모델과 마찬가지로 전역 정보를 포착하는 것 이상으로, 제안된 모델은 입력 내의 지역 정보에 대한 세부적인 이해를 요구하는 작업에서 탁월한 성능을 보입니다. 이 모델은 이미지 내의 특정 영역이나 비디오 내의 특정 순간을 정확하게 식별하고 위치를 파악할 수 있습니다. 이러한 목표를 달성하기 위해, 우리는 다양한 데이터셋 구축 파이프라인을 설계하여 모델 학습을 위한 멀티모달, 다중 세분성 데이터셋을 생성했습니다. 모델의 코드, 데이터셋, 데모는 https://github.com/lzw-lzw/LEGO에서 확인할 수 있습니다.