EdgeRazor: Ein leichtgewichtiges Framework für Large Language Models durch Quantization-Aware Distillation mit gemischter Präzision

arXiv:2605.04062v1 Ankündigungstyp: neu Abstract: Die letzten Jahre zeigten wachsendes Interesse an der Bereitstellung von LLMs auf ressourcenbeschränkten Geräten, wobei sich Quantization als vielversprechende leichtgewichtige Technik herausgestellt hat, die Full-Precision Modellgewichte und Aktivierungen in niedrigere Bit konvertiert