UCoder: Unverwachte Codegenerierung durch internes Abtasten großer Sprachmodelle
UCoder: Unsupervised Code Generation by Internal Probing of Large Language Models
December 19, 2025
papers.authors: Jiajun Wu, Jian Yang, Wei Zhang, Lin Jing, Yuqing Ma, Ensheng Shi, Yuchi Ma, Zhoujun Li, Xianglong Liu
cs.AI
papers.abstract
Große Sprachmodelle (LLMs) haben bemerkenswerte Fähigkeiten bei Code-Generierungsaufgaben gezeigt. Ihre Effektivität hängt jedoch stark von überwachtem Training mit umfangreichen gelabelten (z.B. Frage-Antwort-Paare) oder ungelabelten Datensätzen (z.B. Code-Snippets) ab, die oft teuer und schwer in großem Maßstab zu beschaffen sind. Um diese Einschränkung zu adressieren, stellt dieses Papier eine Methode IPC vor, einen unüberwachten Rahmen, der Internal Probing von LLMs für die Code-Generierung ohne externe Korpora, selbst ohne ungelabelte Code-Snippets, nutzt. Wir führen Problemraum-Probing, Testverständnis-Probing, Lösungsraum-Probing sowie Wissenskonsolidierung und -verstärkung ein, um das interne Wissen und Konfidenzmuster in LLMs zu untersuchen. Weiter identifiziert IPC zuverlässige Code-Kandidaten durch Selbstkonsistenzmechanismen und representationsbasierte Qualitätsschätzung, um UCoder (Coder mit unüberwachtem Lernen) zu trainieren. Wir validieren den vorgeschlagenen Ansatz an mehreren Code-Benchmarks und zeigen, dass unüberwachte Methoden wettbewerbsfähige Leistung im Vergleich zu überwachten Ansätzen erreichen können, während sie die Abhängigkeit von gelabelten Daten und Rechenressourcen erheblich reduzieren. Analytische Experimente zeigen, dass interne Modellzustände reichhaltige Signale über Code-Qualität und Korrektheit enthalten, und dass die richtige Nutzung dieser Signale effektives unüberwachtes Lernen für Code-Generierungsaufgaben ermöglicht, was neue Richtungen für das Training von Code-LLMs in ressourcenbeschränkten Szenarien eröffnet.
English
Large language models (LLMs) have demonstrated remarkable capabilities in code generation tasks. However, their effectiveness heavily relies on supervised training with extensive labeled (e.g., question-answering pairs) or unlabeled datasets (e.g., code snippets), which are often expensive and difficult to obtain at scale. To address this limitation, this paper introduces a method IPC, an unsupervised framework that leverages Internal Probing of LLMs for Code generation without any external corpus, even unlabeled code snippets. We introduce the problem space probing, test understanding probing, solution space probing, and knowledge consolidation and reinforcement to probe the internal knowledge and confidence patterns existing in LLMs. Further, IPC identifies reliable code candidates through self-consistency mechanisms and representation-based quality estimation to train UCoder (coder with unsupervised learning). We validate the proposed approach across multiple code benchmarks, demonstrating that unsupervised methods can achieve competitive performance compared to supervised approaches while significantly reducing the dependency on labeled data and computational resources. Analytic experiments reveal that internal model states contain rich signals about code quality and correctness, and that properly harnessing these signals enables effective unsupervised learning for code generation tasks, opening new directions for training code LLMs in resource-constrained scenarios.