Systematische Exploration von 4-Expert-heterogenen Mixture-of-Experts durch automatisierte Pipeline-Suche

arXiv:2606.23739v1 Announce Type: new Abstract: Wir präsentieren eine automatisierte großflächige Such-Pipeline für heterogene 4-Expert Mixture-of-Experts (MoE4) Architekturen innerhalb des LEMUR Neural-Network-Dataset-Ökosystems. Aufbauend auf einem handgefertigten heterogenen MoE-Referenzmodell ersetzen wir manuelle