TriRoute: Einheitliches gelerntes Routing für gemeinsame adaptive Attention, Experts und KV-Cache-Allokation

arXiv:2607.06601v1 Ankündigungstyp: neu Abstract: Conditional Computation kann die Qualität von Sprachmodellen von den Inferenzkosten pro Token entkoppeln, doch führende Techniken wirken isoliert auf einer einzelnen Achse: Mixture-of-Experts (MoE) sparsifiziert das FFN, Mixture-of-Depths (MoD) überspringt ganze Transformer-Blöcke