Director: Beschleunigung von verteiltem MoE-Serving via Online Proactive Expert Placement

arXiv:2607.08782v1 Expert Parallelism ist zum vorherrschenden Paradigma für das Serving von Mixture-of-Experts Modellen geworden. Die Effizienz hängt von den Kommunikations- und Berechnungslatenzen der GPUs ab, die mit der Platzierung der Experten auf den GPUs verbunden sind.