WARUM DAS WICHTIG IST
Für produktive Assistenten zeigt die Arbeit eine zentrale Testlücke: gute Single-Turn-Ergebnisse garantieren nicht, dass ein Modell wechselnde Nutzerziele über einen Dialog korrekt nachverfolgt.
AI THOR · VISUELLE EINORDNUNG
Vom Forschungsproblem zur praktischen Bedeutung
Aus der vorliegenden Paper-Analyse abgeleitet
Ausgangslage
Ein Framework überführt statische Benchmarks in kontrollierte Multi-Turn-Szenarien mit sich verändernder Nutzerabsicht.
Methode
Transformation statischer Single-Turn-Benchmarks in Multi-Turn-Szenarien
Befund
LLMs schneiden bei dynamischer, evolvierender Nutzerintention deutlich schlechter ab als in statischen Single-Turn-Szenarien.
Anwendung
Eigene Produkt-Evals um gezielte Intent-Wechsel im Dialog erweitern.
Grenze
Die Intent-Entwicklung bleibt kontrolliert; echte Nutzerinteraktionen können komplexer sein.
DIE ANALYSE IM DETAIL
Was das Paper Kapitel für Kapitel zeigt.
Die folgenden Abschnitte verdichten die vollständige Paper-Analyse auf Deutsch, ohne die zentralen Argumentationsschritte auszulassen.
As LLMs become more capable, they are in-
Einführung in die Nutzung von LLMs als kollaborative Agenten, die Nutzeraufgaben über iterative Gespräche übernehmen. Es wird hervorgehoben, dass Nutzerabsichten dynamisch sind und LLMs meist in Single-Turn-Szenarien evaluiert werden, weshalb die Fähigkeit des Modells zur Nachverfolgung sich entwickelnder Intentionen unzureichend erforscht ist.
Such collaboration places a new demand on agent
Diskussion über neue Anforderungen an LLM-Agenten: Sie müssen die Absicht des Nutzers erkennen, auch wenn diese im Verlauf des Dialogs geändert wird. Aktuelle Evaluierungen bleiben meist auf Single-Turn beschränkt, was die realistischen Interaktionsanforderungen verkennt.
To address this gap, a growing body of multi-turn
Anmerkung, dass es zwar Multi-Turn-Benchmarks gibt, diese jedoch meist begrenzte Nutzerintentionen abbilden und sich auf kurze Interaktionen mit LLM-basierter Bewertung stützen. Somit sind sie nicht ausreichend skalierbar oder repräsentativ für echtes Nutzerverhalten.
To tackle this, rather than constructing multi-
Vorschlag, bestehende Single-Turn-Benchmarks dynamisch zu erweitern anstatt Multi-Turn-Setups komplett neu zu erstellen. Dies nutzt bereits verifizierbare Antworten und skaliert besser als manuell erstellte Multi-Turn-Daten.
We propose a framework that converts any veri-
Vorstellung des Frameworks, welches statische Single-Turn-Datensätze in Multi-Turn-Umgebungen mit sich entwickelnden Nutzerabsichten überführt, dabei aber die Verifizierbarkeit gegen die Originalantwort wahrt.
We model this evolution through three forms of
Beschreibung der drei Intentionsevolutionsmodi: schrittweise Offenlegung (under-specification), Korrektur von Details (revision) und Kontextbeibehalten beim Aufgabenwechsel (task switching). Die finale Absicht wird an letzter Konversationsturn verankert, wodurch Validierung möglich bleibt.
We demonstrate the versatility of our framework
Demonstration durch Transformation verschiedener Benchmarks (Mathematik, Text-SQL, Suche, Programmierung) und Evaluation von führenden sowie Open-Source LLMs.
Models that excel in the original single-turn set-
Ergebnis: Starke Modelle im Single-Turn-Kontext verlieren deutlich an Leistung im Mehr-Turn-Setting mit sich wandelnder Nutzerintention. Beispiel: GPT 5.5 fällt von 99% auf 80,5% nach nur 6 Intentwechseln. Der Hauptgrund ist mangelnde Nachverfolgung sich verändernder Nutzerabsichten.
ABSTRACT IM ORIGINAL LESEN
As LLMs become more capable, they are increasingly deployed as collaborative agents, taking on user-delegated tasks through iterative interaction. Yet genuine interaction is inherently dynamic: users rarely specify their intent upfront, instead disclosing, revising, and reshaping it as the conversation unfolds. Despite this, LLMs are still predominantly evaluated or trained in single-turn, fully-specified settings, leaving open a fundamental question: how well do LLMs track and act on user intent as it evolves over the course of a conversation? To study this, we introduce a framework that transforms static, single-turn tasks into dynamic multi-turn conversations in which the user's intent evolves across turns--incrementally revealed, revised, and at times redirected mid-conversation--while preserving each task's original evaluation protocol, enabling existing benchmarks to be reused as controlled testbeds without new annotation. Across multiple tasks, we surface a consistent phenomenon: strong static-setting performance does not transfer to the evolving-intent setting, with substantial drops across model families. Our findings point to a fundamental gap: today's LLMs do not yet faithfully track and act on the user's evolving intent, a capability invisible to static evaluation yet critical for future collaborative agents.
DIE KERNPUNKTE
- 01
LLMs schneiden bei dynamischer, evolvierender Nutzerintention deutlich schlechter ab als in statischen Single-Turn-Szenarien.
- 02
Starke Single-Turn-Leistung überträgt sich nicht automatisch auf realistischere Mehr-Turn-Interaktionen.
- 03
Das Framework erzeugt skalierbare, verifizierbare Multi-Turn-Benchmarks aus bestehenden Testsets.
- 04
Die Methode kann auf Mathematik, Text-SQL, Suche und Programmierung angewendet werden.
VORGEHEN
- — Transformation statischer Single-Turn-Benchmarks in Multi-Turn-Szenarien
- — Kontrollierte Evolution von Nutzerintentionen
- — Verifizierbare Evaluierung des Intent-Trackings
- — Domänenübergreifende Anwendung auf bestehende Benchmarks
PRAKTISCHE ANKNÜPFUNGSPUNKTE
- — Eigene Produkt-Evals um gezielte Intent-Wechsel im Dialog erweitern.
- — Bestehende Single-Turn-Regressionstests in kontrollierte Multi-Turn-Fälle überführen.
- — Intent-Tracking und Antwortqualität als getrennte Kriterien messen.
- — Fehler bei Zielwechseln als eigene Kategorie in der Agenten-Triage erfassen.