UCoder : Génération de Code Non Supervisée par Sondage Interne des Grands Modèles de Langage

UCoder: Unsupervised Code Generation by Internal Probing of Large Language Models

December 19, 2025

papers.authors: Jiajun Wu, Jian Yang, Wei Zhang, Lin Jing, Yuqing Ma, Ensheng Shi, Yuchi Ma, Zhoujun Li, Xianglong Liu

cs.AI

papers.abstract

Les grands modèles de langage (LLM) ont démontré des capacités remarquables dans les tâches de génération de code. Cependant, leur efficacité dépend fortement d'un apprentissage supervisé nécessitant de vastes ensembles de données étiquetés (par exemple, des paires question-réponse) ou non étiquetés (par exemple, des fragments de code), qui sont souvent coûteux et difficiles à obtenir à grande échelle. Pour remédier à cette limitation, cet article présente une méthode IPC, un cadre non supervisé qui exploite le sondage interne des LLM pour la génération de code, sans aucun corpus externe, pas même des fragments de code non étiquetés. Nous introduisons le sondage de l'espace problème, le sondage de la compréhension des tests, le sondage de l'espace solution, et la consolidation et le renforcement des connaissances pour sonder les schémas de connaissance et de confiance internes existant dans les LLM. De plus, IPC identifie des candidats de code fiables grâce à des mécanismes d'auto-cohérence et à une estimation de la qualité basée sur les représentations pour entraîner UCoder (codeur avec apprentissage non supervisé). Nous validons l'approche proposée sur plusieurs benchmarks de code, démontrant que les méthodes non supervisées peuvent atteindre des performances compétitives par rapport aux approches supervisées tout en réduisant significativement la dépendance aux données étiquetées et aux ressources computationnelles. Des expériences analytiques révèlent que les états internes du modèle contiennent des signaux riches sur la qualité et la correction du code, et qu'exploiter correctement ces signaux permet un apprentissage non supervisé efficace pour les tâches de génération de code, ouvrant de nouvelles directions pour l'entraînement de LLM pour le code dans des scénarios à ressources limitées.

English

Large language models (LLMs) have demonstrated remarkable capabilities in code generation tasks. However, their effectiveness heavily relies on supervised training with extensive labeled (e.g., question-answering pairs) or unlabeled datasets (e.g., code snippets), which are often expensive and difficult to obtain at scale. To address this limitation, this paper introduces a method IPC, an unsupervised framework that leverages Internal Probing of LLMs for Code generation without any external corpus, even unlabeled code snippets. We introduce the problem space probing, test understanding probing, solution space probing, and knowledge consolidation and reinforcement to probe the internal knowledge and confidence patterns existing in LLMs. Further, IPC identifies reliable code candidates through self-consistency mechanisms and representation-based quality estimation to train UCoder (coder with unsupervised learning). We validate the proposed approach across multiple code benchmarks, demonstrating that unsupervised methods can achieve competitive performance compared to supervised approaches while significantly reducing the dependency on labeled data and computational resources. Analytic experiments reveal that internal model states contain rich signals about code quality and correctness, and that properly harnessing these signals enables effective unsupervised learning for code generation tasks, opening new directions for training code LLMs in resource-constrained scenarios.