Non Verbis, Sed Rebus: Grote Taalmodellen zijn Zwakke Oplossers van Italiaanse Rebusen
Non Verbis, Sed Rebus: Large Language Models are Weak Solvers of Italian Rebuses
August 1, 2024
Auteurs: Gabriele Sarti, Tommaso Caselli, Malvina Nissim, Arianna Bisazza
cs.AI
Samenvatting
Rebussen zijn puzzels die beperkte, meerstaps redenering vereisen om een verborgen zin te identificeren uit een reeks afbeeldingen en letters. In dit werk introduceren we een grote verzameling verbaal uitgedrukte rebussen voor de Italiaanse taal en gebruiken we deze om de rebusoplossende vaardigheden van state-of-the-art grote taalmodelen te evalueren. Algemene systemen zoals LLaMA-3 en GPT-4o presteren slecht op deze taak, maar ad-hoc fine-tuning lijkt de prestaties van modellen te verbeteren. We constateren echter dat de prestatieverbeteringen door training grotendeels worden gemotiveerd door memorisatie. Onze resultaten suggereren dat rebusoplossing een uitdagende testomgeving blijft om de linguïstische vaardigheid en het vermogen om sequentiële instructies te volgen van grote taalmodelen te evalueren.
English
Rebuses are puzzles requiring constrained multi-step reasoning to identify a
hidden phrase from a set of images and letters. In this work, we introduce a
large collection of verbalized rebuses for the Italian language and use it to
assess the rebus-solving capabilities of state-of-the-art large language
models. While general-purpose systems such as LLaMA-3 and GPT-4o perform poorly
on this task, ad-hoc fine-tuning seems to improve models' performance. However,
we find that performance gains from training are largely motivated by
memorization. Our results suggest that rebus solving remains a challenging test
bed to evaluate large language models' linguistic proficiency and sequential
instruction-following skills.