Energieeffizienz von lokal eingesetzten LLMs: Ein vorläufiger quantitativer GPU-Stromverbrauchsvergleich auf Consumer-Hardware

Der lokale Einsatz von Large Language Models (LLMs) gewinnt aufgrund von Datenschutzbedenken und dem Wunsch nach lokalen Inferenzen an Bedeutung. Allerdings bleibt der Energieverbrauch auf Consumer-Hardware schlecht charakterisiert, da sich die meisten Benchmarks ausschließlich auf Durchsatz konzentrieren