MoE-Chips verschieben heiße Experten klüger

HCRMap von Yongqin Zhang wurde am 13. Juli bei arXiv eingereicht und zielt auf 3,5D-Multi-Chiplet-Inferenz. Die Ausgangslage ist plausibel: In MoE-Modellen aktivieren Routing-Entscheidungen nur wenige Experten pro Token. Diese Nachfrage ist aber schief verteilt. Einige Experten werden zu Dauerbrennern, andere stehen mit metaphorischer Kaffeetasse in der Ecke.

Das Papier beschreibt den Effekt als gleichzeitigen Druck auf Kommunikation, Speicherbandbreite, Ein- und Ausgabe sowie Ausführungswarteschlangen. HCRMap will deshalb heiße Experten je nach Beliebtheit, Lade- und Migrationskosten und Laufzeitdruck befördern, halten, herabstufen oder auslagern. Es ist eine Speicher- und Platzierungsstrategie, kein neuer LLM-Algorithmus.

Das klingt nach Klempnerarbeit. Für die Inferenzökonomie ist es aber zentrale Klempnerarbeit. MoE spart nominell Rechenarbeit, kann die Rechnung jedoch an anderer Stelle wieder aufmachen: wenn Gewichte dauernd nachgeladen werden oder Token zwischen Chiplets pendeln. Wer diese Datenbewegung zähmt, macht ein sparsames Modell auch real sparsamer.

Die Autoren vergleichen gegen Hydra, MoEntwine und PIMoE. Im Abstract berichten sie gegenüber Hydra 43,6 Prozent weniger End-to-End-Latenz beim Prefill und 43,0 Prozent beim Decoding. Das sind labornahe Resultate eines einzelnen Preprints; sie sind kein Versprechen für Hardware von der Stange, geschweige denn für die nächste App auf Ihrem Telefon.

Trotzdem lohnt der Blick: In der Diskussion um AI-Compute dominieren oft GPU-Zahlen und Rechenzentren. Diese Arbeit erinnert daran, dass auch die Dramaturgie innerhalb eines Modells zählt. Nicht jeder Parameter ist gleich gefragt. Der Router hat Lieblingskinder, und die Infrastruktur muss damit leben.