Quantifizierung unterschwelliger Verhaltenstransfer-Quoten bei Language-Model-Destillation

arXiv:2606.11270v1 Ankündigungstyp: neu Abstract: Die Destillation eines Sprachmodells, das harmlose Verhaltensweisen auf ein Schülermodell übertragen soll, kann auch unerwünschte Merkmale übertragen, falls diese im Lehrermodell vorhanden sind, ein Phänomen das als unterschwelliges Lernen bekannt ist. Obwohl qualitative Evidenz