DynamicPTQ: Minderung von Aktivierungsquantisierungs-Kollaps via Residual-Stream-Dynamik

arXiv:2606.12487v1 Ankündigungstyp: neu Abstract: Post-Training-Quantisierung (PTQ) ist wesentlich für effiziente Large Language Model-Inferenz, doch zuverlässige Aktivierungsquantisierung bleibt herausfordernd, wenn Gewichte, Aktivierungen und KV-Caches alle auf 4-Bit-Präzision quantisiert werden. Eine Schlüsselschwierigkeit liegt in