Адаптация классификатора безопасности рабочей среды для малайского языка: улучшение Выравнивания в рамках LLM-Ops Framework

Adapting Safe-for-Work Classifier for Malaysian Language Text: Enhancing Alignment in LLM-Ops Framework

July 30, 2024

Авторы: Aisyah Razak, Ariff Nazhan, Kamarul Adha, Wan Adzhar Faiq Adzlan, Mas Aisyah Ahmad, Ammar Azman

cs.AI

Аннотация

Поскольку большие языковые модели (LLM) все более интегрируются в операционные рабочие процессы (LLM-Ops), существует настоятельная необходимость в эффективных ограждениях для обеспечения безопасного и согласованного взаимодействия, включая способность обнаруживать потенциально небезопасный или неподходящий контент на разных языках. Однако существующие классификаторы безопасности рабочего места в основном сосредоточены на английском тексте. Для заполнения этого пробела для малайского языка мы представляем новый классификатор текста безопасного для работы, разработанный специально для контента на малайском языке. Путем составления и аннотирования уникального набора данных малайского текста, охватывающего несколько категорий контента, мы обучили модель классификации, способную идентифицировать потенциально небезопасный материал с использованием передовых техник обработки естественного языка. Эта работа представляет собой важный шаг в обеспечении безопасного взаимодействия и фильтрации контента для смягчения потенциальных рисков и обеспечения ответственного развертывания LLM. Для максимизации доступности и поощрения дальнейших исследований по улучшению согласованности в LLM-Ops для малайского контекста модель общедоступно доступна по адресу https://huggingface.co/malaysia-ai/malaysian-sfw-classifier.

English

As large language models (LLMs) become increasingly integrated into operational workflows (LLM-Ops), there is a pressing need for effective guardrails to ensure safe and aligned interactions, including the ability to detect potentially unsafe or inappropriate content across languages. However, existing safe-for-work classifiers are primarily focused on English text. To address this gap for the Malaysian language, we present a novel safe-for-work text classifier tailored specifically for Malaysian language content. By curating and annotating a first-of-its-kind dataset of Malaysian text spanning multiple content categories, we trained a classification model capable of identifying potentially unsafe material using state-of-the-art natural language processing techniques. This work represents an important step in enabling safer interactions and content filtering to mitigate potential risks and ensure responsible deployment of LLMs. To maximize accessibility and promote further research towards enhancing alignment in LLM-Ops for the Malaysian context, the model is publicly released at https://huggingface.co/malaysia-ai/malaysian-sfw-classifier.