WARUM DAS WICHTIG IST
Für KI-Inferenz zählen nicht nur funktionierende Kernels, sondern Messwerte, Speicherverhalten und echte Ausführung ohne versteckte Fallbacks.
Lingyun Yang und Mitautoren stellen Atrex-Bench vor. Der Benchmark enthält dreißig Operatoren und vierhundertvierzig Formen aus vollständigen Produktions-Inferenztraces von compute-limitierten, speicherreichen GPUs. Die Aufgaben werden nach beobachteter GPU-Zeit und Anwendungskartenstunden gewichtet.
Nach Angaben des Abstracts erreichen sechs getestete Frontier-Coding-Agenten im besten Vanilla-Fall nur ungefähr zehn Prozent des Hardware-Rooflines auf Produktionsoperatoren. Korrektheit allein überschätzt dabei die Fähigkeit, weil scheinbare Erfolge häufig aus PyTorch-Fallbacks statt aus selbst geschriebenen Kernels stammen.
Zusätzlich veröffentlichen die Autoren Atrex-Kernel-Agent, der Profiling, iterative Überarbeitung und eine Wissensbasis für GPU-Optimierung verbindet. Die Resultate sind ein frischer Preprint und keine unabhängige Bestätigung für allgemeine Produktionsreife.
DIE KERNPUNKTE
- 01
Atrex-Bench nutzt Produktions-Inferenztraces statt synthetischer Aufgaben.
- 02
Die Benchmark gewichtet Probleme nach real beobachteter GPU-Zeit.
- 03
Korrektheitswerte können GPU-Performance durch Fallbacks überschätzen.
- 04
Atrex-Kernel-Agent koppelt Messung, Optimierung und Referenzwissen.