Grote taalmodellen kunnen zichzelf verbeteren in redeneren met lange contexten.Large Language Models Can Self-Improve in Long-context Reasoning
Grote taalmodellen (LLM's) hebben aanzienlijke vooruitgang geboekt in het verwerken van lange contexten, maar worstelen nog steeds met redeneren over lange contexten. Bestaande benaderingen omvatten doorgaans het fijnafstemmen van LLM's met synthetische gegevens, die afhankelijk zijn van annotaties van menselijke experts of geavanceerde modellen zoals GPT-4, waardoor verdere vooruitgang wordt beperkt. Om dit probleem aan te pakken, onderzoeken we het potentieel voor LLM's om zichzelf te verbeteren in redeneren over lange contexten en stellen we \ours voor, een benadering die specifiek is ontworpen voor dit doel. Deze benadering is eenvoudig: we monsteren meerdere uitvoerresultaten voor elke vraag, scoren ze met Minimum Bayes Risk, en passen vervolgens begeleid fijnafstemmen of voorkeursoptimalisatie toe op basis van deze resultaten. Uitgebreide experimenten met verschillende toonaangevende LLM's tonen de effectiviteit van \ours aan, met een absolute verbetering van 4,2 punten voor Llama-3.1-8B-Instruct. Bovendien behaalt \ours superieure prestaties in vergelijking met eerdere benaderingen die afhankelijk zijn van gegevens die zijn geproduceerd door menselijke experts of geavanceerde modellen. We verwachten dat dit werk nieuwe wegen zal openen voor zelfverbeteringstechnieken in scenario's met lange context, die essentieel zijn voor de voortdurende vooruitgang van LLM's.