Polynomial Expansion Rank Adaptation: Verbesserung von Low-Rank Fine-Tuning durch Interaktionen höherer Ordnung

arXiv:2604.11841v1 Ankündigungstyp: Neu Abstract: Low-Rank Adaptation (LoRA) ist eine weit verbreitete Strategie für effizientes Fine-Tuning von Large Language Models (LLMs), aber seine streng lineare Struktur beschränkt die Ausdrucksfähigkeit grundlegend. Die bilineare Formulierung von Gewichtsaktualisierungen erfasst nur erste Ordnung…