LaPrune: Kontrollierbare differenzierbare Sparsität im Million-Maßstab

arXiv:2608.04057v1 Ankündigungstyp: neu Zusammenfassung: Die Top-k-Auswahl bestimmt, welche Komponenten eines spärlichen Modells aktiv bleiben. Harte Auswahl blockiert Gradienten, während kontinuierliche Relaxationen oft die Maskenhärte an die ausgewählte Masse koppeln. Wir stellen LaPrune vor, ein mathematisch exaktes Budget-Differenzial…