Relevant und Irrelevant: Eine Renormalisierungsgruppenanalyse von Transformer Attention

Mit der Sprache der Wilsonschen Renormalisierungsgruppentheorie (RG) behandeln wir den Attention-Mechanismus des Transformers als Störung des trainierten MLP Residual-Stack Fixpunkts und fragen, ob er eine relevante, marginale oder irrelevante Operation darstellt