Stärkere Modelle sind KEINE besseren Lehrer für die Anpassung von Unterricht.Stronger Models are NOT Stronger Teachers for Instruction Tuning
Die Anpassung von Anweisungen wurde weit verbreitet übernommen, um sicherzustellen, dass große Sprachmodelle (LLMs) Benutzeranweisungen effektiv befolgen. Die daraus resultierenden Anweisungsfolgefähigkeiten von LLMs hängen stark von den für die Anpassung verwendeten Anweisungsdatensätzen ab. In letzter Zeit sind synthetische Anweisungsdatensätze als wirtschaftlich tragfähige Lösung aufgetaucht, um LLMs vielfältige und qualitativ hochwertige Anweisungen bereitzustellen. Allerdings gehen bestehende Ansätze typischerweise davon aus, dass größere oder stärkere Modelle bessere Lehrer für die Anpassung von Anweisungen sind und daher einfach diese Modelle als Antwortgeneratoren für die synthetischen Anweisungen übernehmen. In diesem Artikel fordern wir diese häufig angenommene Annahme heraus. Unsere umfangreichen Experimente über fünf Basismodelle und zwanzig Antwortgeneratoren zeigen, dass größere und stärkere Modelle nicht unbedingt bessere Lehrer für kleinere Modelle sind. Wir bezeichnen dieses Phänomen als das Paradox der größeren Modelle. Wir stellen fest, dass bestehende Metriken die Effektivität von Antwortgeneratoren nicht genau vorhersagen können, da sie die Kompatibilität zwischen Lehrern und den Basismodellen, die feinabgestimmt werden, ignorieren. Daher entwickeln wir eine neue Metrik namens Kompatibilitätsangepasste Belohnung (CAR), um die Effektivität von Antwortgeneratoren zu messen. Unsere Experimente über fünf Basismodelle zeigen, dass CAR fast alle Baselines übertrifft.