WARUM DAS WICHTIG IST
Für Teams mit Coding-Agenten verbindet die Arbeit Datengewinnung, Tests und verifizierbares RL-Training zu einem konkret prüfbaren Aufbaupfad.
AI THOR · VISUELLE EINORDNUNG
Vom Forschungsproblem zur praktischen Bedeutung
Aus der vorliegenden Paper-Analyse abgeleitet
Ausgangslage
CodeMidas gewinnt aus ausführbarem Open-Source-Code verifizierbare Trainingsumgebungen für Coding-Agenten.
Methode
Agentische Code-Exploration und Verhaltensspezifikation
Befund
Quellcode dient als einziger aufgabenspezifischer Input für Spezifikationen, Tests und Verifikation.
Anwendung
Zuerst nur ausführbare, gut getestete Repositories als Kandidatenbestand wählen.
Grenze
Die Qualität hängt von Ausführbarkeit und Qualität der Quellcodebasis ab.
DIE ANALYSE IM DETAIL
Was das Paper Kapitel für Kapitel zeigt.
Die folgenden Abschnitte verdichten die vollständige Paper-Analyse auf Deutsch, ohne die zentralen Argumentationsschritte auszulassen.
Introduction
Die Einleitung beschreibt die Bedeutung vielseitiger Aufgaben und verlässlicher Verifikatoren für effektives RL bei Programmieragenten. Bestehende Methoden sind oft auf Entwicklungsartefakte wie Issues oder Commits angewiesen, was die Aufgabenvielfalt limitiert.
CodeMidas: Scaling Agentic Coding RL Environments from Code Itself
Dieser Abschnitt stellt CodeMidas vor, das vollständig auf die Analyse implementierter Funktionalität im Quellcode setzt. Es automatisiert die Umwandlung in RL-Umgebungen, indem es Verhaltensbeschreibungen generiert, Tests auf Basis der Originalcodeausführung anlegt und Aufgaben über wiederholte Rollouts validiert.
Related Work
Die verwandte Arbeit umfasst Methoden zur Erstellung von RL-Programmierumgebungen, die typischerweise auf Issues, Pull Requests, Commits, existierenden Tests oder Dokumentationen beruhen. CodeMidas unterscheidet sich durch ausschließliche Nutzung von Quellcode, was größere Skalierbarkeit und Diversität ermöglicht.
Method
Methodisch werden alle Phasen der Umgebungskonstruktion agentisch besetzt: Exploration der Funktionalität, Formulierung von Spezifikationen, Testgenerierung und Validierung über Ausführung sowie Filtern durch gegnerische Rollouts und Bewertungsmetriken.
Evaluation and Results
Die Experimente zeigen, dass das Training eines Coding-Agenten mit MiMo-V2.5 unter Verwendung der durch CodeMidas generierten 5.545 Trainingsaufgaben (aus 3.185 Repositories, 23 Programmiersprachen, 15 Domänen) die Performance auf fünf diversen Benchmarks (u.a. DeepSWE, ProgramBench, Terminal-Bench v2.1) deutlich verbessert (bis +17%).
Ablations
Ablationsstudien weisen nach, dass eine Erhöhung der Anzahl qualitativ hochwertiger Trainingsaufgaben die RL-Performance weiter steigert, was den Nutzen der umfangreichen und vielfältigen Umgebungsgenerierung von CodeMidas unterstreicht.
Trajectory Analysis
Analyse der Agententraumata zeigt verbesserte Verhaltensweisen nach RL-Training, inklusive vermehrter Exploration von Codebasen und vielfältigerer selbstkritischer Verifikation, was Robustheit und Lernqualität reflektiert.
Discussion and Conclusion
Die Resultate etablieren Quellcode als skalierbare Quelle für zuverlässige, diverse RL-Umgebungen im Kodierkontext. CodeMidas adressiert Limitationen vorheriger Ansätze und fördert die Entwicklung leistungsfähiger agentischer Coding-Modelle.
ABSTRACT IM ORIGINAL LESEN
Training capable coding agents via reinforcement learning (RL) requires diverse tasks with reliable verifiers. Open-source codebases offer a rich source of such tasks, while existing methods typically rely on development artifacts such as issues and commits, limiting the range of tasks that can be extracted. To better scale RL environments, we present CodeMidas, an agentic pipeline that turns implemented functionality in existing codebases into executable RL environments using source code as its only task-specific input. CodeMidas allocates agentic compute to every stage of environment construction: agents explore implemented functionality to formulate behavioral specifications, construct tests grounded in execution of the original code, and validate and filter candidate tasks through execution checks and repeated solution rollouts. The resulting dataset has 5,545 training tasks from 3,185 open-source codebases spanning 23 programming languages and 15 technical domains. Training MiMo-V2.5 on these tasks with GRPO improves performance on all five diverse benchmarks, covering issue repair (DeepSWE + 11.7%), whole-program construction (ProgramBench +17%), and terminal work (Terminal-Bench v2.1 +8.5%). Ablations show that increasing the number of high-quality training tasks improves performance. Trajectory analysis shows the RL-trained agent demonstrates better behaviors like increasing codebase exploration and more diverse self-verification. These results establish source code as a scalable foundation for constructing RL environments that improve coding agents across diverse software tasks.
DIE KERNPUNKTE
- 01
Quellcode dient als einziger aufgabenspezifischer Input für Spezifikationen, Tests und Verifikation.
- 02
Die Pipeline erzeugte 5.545 validierte Trainingsaufgaben aus 3.185 Repositories in 23 Sprachen.
- 03
Wiederholte Rollouts und Ausführungschecks filtern Kandidatenaufgaben.
- 04
Die Arbeit berichtet Verbesserungen auf DeepSWE, ProgramBench und Terminal-Bench v2.1.
VORGEHEN
- — Agentische Code-Exploration und Verhaltensspezifikation
- — Testgenerierung aus Originalcode-Ausführung
- — Mehrfache Lösungsrollouts und adversariales Filtering
- — GRPO-Training auf validierten Aufgaben
PRAKTISCHE ANKNÜPFUNGSPUNKTE
- — Zuerst nur ausführbare, gut getestete Repositories als Kandidatenbestand wählen.
- — Spezifikation, Test und Referenzausführung als unveränderliche Task-Artefakte speichern.
- — Ein Gate aus Ausführung und mehreren Rollouts vor jedes RL-Training setzen.
- — Trainingsdaten nach Sprache, Domäne und Verifikationsstatus messen.