Распределение рабочей нагрузки в кластере: семантическая мягкая аффинность с использованием обработки естественного языка

Cluster Workload Allocation: Semantic Soft Affinity Using Natural Language Processing

January 14, 2026

Авторы: Leszek Sliwko, Jolanta Mizeria-Pietraszko

cs.AI

Аннотация

Распределение рабочих нагрузок в кластерах часто требует сложных конфигураций, что создает проблему удобства использования. В данной статье представлена семантическая, ориентированная на намерения парадигма планирования для кластерных систем с использованием обработки естественного языка. Система использует большую языковую модель (LLM), интегрированную через расширение планировщика Kubernetes, для интерпретации аннотаций подсказок распределения на естественном языке, выражающих мягкие аффинные предпочтения. Был разработан прототип, включающий кэш состояния кластера и анализатор намерений (с использованием AWS Bedrock). Эмпирическая оценка продемонстрировала высокую точность парсинга LLM (>95% Subset Accuracy на оценочном наборе данных с эталонными значениями) для моделей высшего класса, таких как Amazon Nova Pro/Premier и Mistral Pixtral Large, что значительно превосходит базовый механизм. Тесты качества планирования в шести сценариях показали, что прототип обеспечивает превосходящее или эквивалентное размещение по сравнению со стандартными конфигурациями Kubernetes, особенно преуспевая в сложных и количественных сценариях, а также при обработке конфликтующих мягких предпочтений. Результаты подтверждают целесообразность использования LLM для упрощения планирования, но также выявляют ограничения, такие как синхронная задержка LLM, что указывает на необходимость асинхронной обработки для готовности к промышленной эксплуатации. Данная работа подтверждает жизнеспособность семантических мягких аффинных правил для упрощения оркестрации рабочих нагрузок.

English

Cluster workload allocation often requires complex configurations, creating a usability gap. This paper introduces a semantic, intent-driven scheduling paradigm for cluster systems using Natural Language Processing. The system employs a Large Language Model (LLM) integrated via a Kubernetes scheduler extender to interpret natural language allocation hint annotations for soft affinity preferences. A prototype featuring a cluster state cache and an intent analyzer (using AWS Bedrock) was developed. Empirical evaluation demonstrated high LLM parsing accuracy (>95% Subset Accuracy on an evaluation ground-truth dataset) for top-tier models like Amazon Nova Pro/Premier and Mistral Pixtral Large, significantly outperforming a baseline engine. Scheduling quality tests across six scenarios showed the prototype achieved superior or equivalent placement compared to standard Kubernetes configurations, particularly excelling in complex and quantitative scenarios and handling conflicting soft preferences. The results validate using LLMs for accessible scheduling but highlight limitations like synchronous LLM latency, suggesting asynchronous processing for production readiness. This work confirms the viability of semantic soft affinity for simplifying workload orchestration.