MATE: LLM-aangedreven Multi-Agent Vertaalomgeving voor Toegankelijkheidstoepassingen

MATE: LLM-Powered Multi-Agent Translation Environment for Accessibility Applications

June 24, 2025

Auteurs: Aleksandr Algazinov, Matt Laing, Paul Laban

cs.AI

Samenvatting

Toegankelijkheid blijft een cruciaal aandachtspunt in de hedendaagse samenleving, aangezien veel technologieën niet zijn ontwikkeld om het volledige scala aan gebruikersbehoeften te ondersteunen. Bestaande multi-agent systemen (MAS) kunnen vaak geen uitgebreide ondersteuning bieden aan gebruikers die dit nodig hebben, vanwege het gebrek aan maatwerk dat voortkomt uit gesloten ontwerpen. Hierdoor ondervinden personen met een beperking vaak aanzienlijke barrières wanneer zij proberen te interacteren met digitale omgevingen. Wij introduceren MATE, een multimodaal toegankelijkheids-MAS, dat de modaliteitsconversies uitvoert op basis van de behoeften van de gebruiker. Het systeem is nuttig voor het assisteren van mensen met een beperking door ervoor te zorgen dat gegevens worden omgezet naar een begrijpelijk formaat. Bijvoorbeeld, als de gebruiker slecht ziet en een afbeelding ontvangt, converteert het systeem deze afbeelding naar een audio-beschrijving. MATE kan worden toegepast in een breed scala aan domeinen, industrieën en gebieden, zoals gezondheidszorg, en kan een nuttige assistent worden voor diverse gebruikersgroepen. Het systeem ondersteunt meerdere soorten modellen, variërend van LLM API-aanroepen tot het gebruik van aangepaste machine learning (ML) classificatoren. Deze flexibiliteit zorgt ervoor dat het systeem kan worden aangepast aan verschillende behoeften en compatibel is met een grote verscheidenheid aan hardware. Aangezien het systeem lokaal wordt verwacht te draaien, waarborgt het de privacy en veiligheid van gevoelige informatie. Daarnaast kan het framework effectief worden geïntegreerd met institutionele technologieën (bijvoorbeeld digitale gezondheidszorgdiensten) voor real-time gebruikersondersteuning. Verder introduceren wij ModCon-Task-Identifier, een model dat in staat is om de precieze modaliteitsconversietaak te extraheren uit de gebruikersinvoer. Talrijke experimenten tonen aan dat ModCon-Task-Identifier consistent beter presteert dan andere LLM's en statistische modellen op onze aangepaste data. Onze code en data zijn openbaar beschikbaar op https://github.com/AlgazinovAleksandr/Multi-Agent-MATE.

English

Accessibility remains a critical concern in today's society, as many technologies are not developed to support the full range of user needs. Existing multi-agent systems (MAS) often cannot provide comprehensive assistance for users in need due to the lack of customization stemming from closed-source designs. Consequently, individuals with disabilities frequently encounter significant barriers when attempting to interact with digital environments. We introduce MATE, a multimodal accessibility MAS, which performs the modality conversions based on the user's needs. The system is useful for assisting people with disabilities by ensuring that data will be converted to an understandable format. For instance, if the user cannot see well and receives an image, the system converts this image to its audio description. MATE can be applied to a wide range of domains, industries, and areas, such as healthcare, and can become a useful assistant for various groups of users. The system supports multiple types of models, ranging from LLM API calling to using custom machine learning (ML) classifiers. This flexibility ensures that the system can be adapted to various needs and is compatible with a wide variety of hardware. Since the system is expected to run locally, it ensures the privacy and security of sensitive information. In addition, the framework can be effectively integrated with institutional technologies (e.g., digital healthcare service) for real-time user assistance. Furthermore, we introduce ModCon-Task-Identifier, a model that is capable of extracting the precise modality conversion task from the user input. Numerous experiments show that ModCon-Task-Identifier consistently outperforms other LLMs and statistical models on our custom data. Our code and data are publicly available at https://github.com/AlgazinovAleksandr/Multi-Agent-MATE.