WAV: Multi-Auflösungs-Block-Residual-Routing für tiefe Decoder-Only Transformer

arXiv:2606.06564v1 Ankündigungstyp: neu Abstract: Residualkonnektionen sind zentral für das Training tiefer Transformer, aber Standard-PreNorm-Residualströme aggregieren Sublayer-Updates mit festen Einheitsgewichten. Neuere Attention Residuals ersetzen diese feste Akkumulation durch inhaltabhängiges tiefenabhängiges Routing