Aletheia: Gradient-gesteuerte Layer-Auswahl für effizientes LoRA Fine-Tuning über Architekturen hinweg

arXiv:2604.15351v1 Ankündigungstyp: neu Abstract: Low-Rank Adaptation (LoRA) ist zur dominanten parameter-effizienten Fine-Tuning-Methode für große Sprachmodelle geworden, doch die Standardpraxis wendet LoRA-Adapter einheitlich auf alle Transformer-Layer an, unabhängig von ihrer Relevanz für die Downstream-Aufgabe…