Grandi modelli la pensano allo stesso modo e ciò mina la supervisione dell'IA.

Great Models Think Alike and this Undermines AI Oversight

February 6, 2025

Autori: Shashwat Goel, Joschka Struber, Ilze Amanda Auzina, Karuna K Chandra, Ponnurangam Kumaraguru, Douwe Kiela, Ameya Prabhu, Matthias Bethge, Jonas Geiping

cs.AI

Abstract

Con l'avanzare delle capacità dei Modelli Linguistici (LM), valutarli e supervisionarli su larga scala sta diventando sempre più difficile per gli esseri umani. C'è la speranza che altri modelli linguistici possano automatizzare entrambi questi compiti, che noi chiamiamo "Supervisione AI". Studiamo come la similarità dei modelli influenzi entrambi gli aspetti della supervisione AI proponendo una metrica probabilistica per la similarità dei LM basata sull'overlap negli errori del modello. Utilizzando questa metrica, mostriamo innanzitutto che i punteggi del LLM-come-giudice favoriscono i modelli simili al giudice, generalizzando i recenti risultati di auto-preferenza. Successivamente, studiamo l'addestramento su annotazioni LM e troviamo che la conoscenza complementare tra il supervisore debole e il modello studente forte gioca un ruolo cruciale nei guadagni della "generalizzazione da debole a forte". Con l'aumentare delle capacità del modello, diventa più difficile individuare i loro errori e potremmo affidarci di più alla supervisione AI. Tuttavia, osserviamo una tendenza preoccupante: gli errori del modello stanno diventando più simili con l'aumentare delle capacità, indicando rischi da fallimenti correlati. Il nostro lavoro sottolinea l'importanza di segnalare e correggere la similarità dei modelli, specialmente nel paradigma emergente della supervisione AI.

English

As Language Model (LM) capabilities advance, evaluating and supervising them at scale is getting harder for humans. There is hope that other language models can automate both these tasks, which we refer to as "AI Oversight". We study how model similarity affects both aspects of AI oversight by proposing a probabilistic metric for LM similarity based on overlap in model mistakes. Using this metric, we first show that LLM-as-a-judge scores favor models similar to the judge, generalizing recent self-preference results. Then, we study training on LM annotations, and find complementary knowledge between the weak supervisor and strong student model plays a crucial role in gains from "weak-to-strong generalization". As model capabilities increase, it becomes harder to find their mistakes, and we might defer more to AI oversight. However, we observe a concerning trend -- model mistakes are becoming more similar with increasing capabilities, pointing to risks from correlated failures. Our work underscores the importance of reporting and correcting for model similarity, especially in the emerging paradigm of AI oversight.