EntropyMoE: Entropie-bewusste Sparse Expert Routing für Tokenizer-freie LLMs

arXiv:2608.06398v1 Ankündigungstyp: neu Abstract: Aktuelle Byte-Level Large Language Models (LLMs) haben Tokenizer-freie Modellierung durch Gruppierung von Bytes in dynamisch große Patches zunehmend wettbewerbsfähig gemacht. Allerdings wenden bestehende Byte-Patch-Architekturen immer noch dieselbe dichte Feed-Forward-Berechnung an