Code4MeV2: een Onderzoeksgericht Code-completion Platform

Code4MeV2: a Research-oriented Code-completion Platform

October 4, 2025

Auteurs: Roham Koohestani, Parham Bateni, Aydin Ebrahimi, Behdad Etezadi, Kiarash Karimi, Maliheh Izadi

cs.AI

Samenvatting

De adoptie van AI-gestuurde code-completiontools in softwareontwikkeling is aanzienlijk toegenomen, maar de gebruikersinteractiedata die door deze systemen worden gegenereerd, blijven eigendom van grote bedrijven. Dit vormt een barrière voor de academische gemeenschap, aangezien onderzoekers vaak specifieke platforms moeten ontwikkelen om studies naar mens-AI-interactie uit te voeren, wat reproduceerbaar onderzoek en grootschalige data-analyse onpraktisch maakt. In dit werk introduceren we Code4MeV2, een onderzoeksgericht, open-source code-completionplugin voor JetBrains IDEs, als oplossing voor deze beperking. Code4MeV2 is ontworpen met een client-serverarchitectuur en beschikt over inline code-completion en een contextbewuste chatassistent. De kernbijdrage is een modulair en transparant dataverzamelingsframework dat onderzoekers fijnmazige controle geeft over telemetrie en contextverzameling. Code4MeV2 bereikt een prestatieniveau dat vergelijkbaar is met de industrie op het gebied van code-completion, met een gemiddelde latentie van 200~ms. We evalueren onze tool door middel van een combinatie van een expertbeoordeling en een gebruikersstudie met acht deelnemers. Feedback van zowel onderzoekers als dagelijkse gebruikers benadrukt de informatiefheid en bruikbaarheid ervan. We nodigen de gemeenschap uit om deze tool te adopteren en eraan bij te dragen. Meer informatie over de tool is te vinden op https://app.code4me.me.

English

The adoption of AI-powered code completion tools in software development has increased substantially, yet the user interaction data produced by these systems remain proprietary within large corporations. This creates a barrier for the academic community, as researchers must often develop dedicated platforms to conduct studies on human--AI interaction, making reproducible research and large-scale data analysis impractical. In this work, we introduce Code4MeV2, a research-oriented, open-source code completion plugin for JetBrains IDEs, as a solution to this limitation. Code4MeV2 is designed using a client--server architecture and features inline code completion and a context-aware chat assistant. Its core contribution is a modular and transparent data collection framework that gives researchers fine-grained control over telemetry and context gathering. Code4MeV2 achieves industry-comparable performance in terms of code completion, with an average latency of 200~ms. We assess our tool through a combination of an expert evaluation and a user study with eight participants. Feedback from both researchers and daily users highlights its informativeness and usefulness. We invite the community to adopt and contribute to this tool. More information about the tool can be found at https://app.code4me.me.