WARUM DAS WICHTIG IST
Agentische Systeme brauchen nicht nur Logs, sondern nachvollziehbare Fehlergeschichten. Das unterstützt gezieltere Evaluierung, Reparatur und Governance über Tool-Aufrufe und Zustandswechsel hinweg.
Lange Agententrajektorien enthalten verstreute Belege in Anweisungen, Beobachtungen und früherem Kontext. Fehlgeschlagene Läufe können mehrere lokale Fehler enthalten, von denen nur einige bis zum endgültigen Fehlschlag fortwirken.
TRAJDEBUG kombiniert mehrstufige Historienkompression, evidenzbasierte Fehleridentifikation und eine Zuordnung nach Auflösungsstatus sowie Wirkung am Ende. Das Paper führt außerdem TrajErrBench mit 486 manuell annotierten Fehltrajektorien aus Tau2Bench und SWE-Bench Pro ein.
Die Autoren berichten die beste Gesamtleistung gegenüber ihren Baselines und nutzbare Diagnosen für spätere Agentenverbesserungen. Für Produktionsagenten bleiben Datensensibilität, unvollständige Logs, wechselnde Werkzeuge und die Reproduzierbarkeit der Befunde offene Prüfungen.
DIE KERNPUNKTE
- 01
Der Ansatz trennt lokale Fehler von Fehlern mit fortwirkendem Endeffekt.
- 02
TrajErrBench umfasst 486 manuell annotierte Fehltrajektorien.
- 03
Ziel ist eine gezieltere Rückmeldung für Evaluierung und Reparatur.
- 04
Nachvollziehbarkeit erfordert Ereignis-, Rechte-, Tool- und Korrekturlogs entlang des gesamten Laufs.