WARUM DAS WICHTIG IST
Selbstverbesserung lässt sich nicht aus einer Einzelaufgabe ableiten. Kontrollierte Vergleiche mit und ohne gespeicherte Erfahrung machen Qualität, Compliance und den tatsächlichen Nutzen eines Agentengedächtnisses messbar.
FinEvo-Bench organisiert 120 reale Fallkonstellationen in 20 Geschäftsszenen und sechs Finanzdomänen. Je Szene teilen sich sechs unterschiedliche Fälle ein professionelles Verfahren; laut Autorenteam definieren institutionell bereitgestellte Verfahren die erwarteten Schritte und Einschränkungen.
Das Paper vergleicht vier selbstentwickelnde Agenten-Gerüste auf derselben Qwen-3.7-Max-Basis mit nicht-evolvierenden Kontrollvarianten. Die Autoren berichten für die evolvierenden Bedingungen Score-Zugewinne von 9,33 bis 19,37 Punkten und weniger gemessene Compliance-Probleme pro Aufgabe.
Der Ansatz zeigt eine nützliche Prüfidee, nicht den Beweis eines allgemein überlegenen Produkts. Benchmarkdesign, Scoring durch einen von Claude Opus 4.6 gestützten Agenten und die Übertragbarkeit über Finanzfälle hinaus bleiben zentrale Einschränkungen.
DIE KERNPUNKTE
- 01
Der Benchmark misst Leistung über zusammenhängende Aufgabenfolgen statt nur Einzelaufgaben.
- 02
120 Fälle, 20 Szenen und sechs Finanzdomänen bilden den Testkorpus.
- 03
Vier Agenten-Gerüste werden gegen nicht-evolvierende Kontrollen verglichen.
- 04
Berichtete Leistungs- und Compliance-Werte stammen aus einem frischen Preprint.