Lokale KI-Modelle: Was auf welcher Hardware läuft

Gruppiert ist die Tabelle nach der kleinsten Klasse, in der ein Modell läuft. Wer eine 24-GB-Karte hat, sieht also unter „Bis 16 GB“ und „Ab 24 GB“ alles, was infrage kommt.

Klasse	Speicher	Art	Beispielgeräte (Bandbreite)	Kosten (Größenordnung, Stand 2026-09)	Strom unter Last	Einordnung
16 GB	16 GB	Grafikkarte	RTX 5070 Ti (896 GB/s), RTX 4080 Super (736 GB/s), RTX 5060 Ti 16 GB (448 GB/s)	450–1.000 € (RTX 5060 Ti 16 GB bis RTX 5070 Ti / 4080 Super)	250 W	Gaming-PC oder Workstation-Laptop. Offload mit 32 GB RAM angenommen
24 GB	24 GB	Grafikkarte	RTX 3090 (936 GB/s), RTX 4090 (1008 GB/s)	800–2.000 € (gebrauchte RTX 3090 bis RTX 4090)	400 W	Die Klasse, auf der wir selbst messen (RTX 3090). Offload mit 64 GB RAM angenommen
96 GB	96 GB	Grafikkarte	RTX PRO 6000 Blackwell (1792 GB/s)	8.000–10.000 € (RTX PRO 6000 Blackwell, Karte allein) Miete 999 €/Monat (KI-Server S)	600 W	Ein Server-Slot, eine Karte. Offload mit 128 GB RAM angenommen. Eine Karte im KI-Server S; mit zwei Karten siehe Klasse 192 GB.. KI-Server S (AuxData)
128 GB Unified	128 GB	Unified Memory	NVIDIA DGX Spark (273 GB/s), Mac Studio M4 Max 128 GB (546 GB/s), Ryzen AI Max+ 395 (Strix Halo) (256 GB/s)	2.000–5.000 € (Strix-Halo-Mini-PC bis Mac Studio / DGX Spark, komplettes Gerät)	150 W	Viel Speicher, aber deutlich weniger Bandbreite als eine diskrete GPU
192 GB	192 GB	Grafikkarte	2× RTX PRO 6000 Blackwell (1792 GB/s)	16.000–20.000 € (zwei RTX PRO 6000 Blackwell, Karten allein) Miete 1.620 €/Monat (KI-Server S Plus)	1,2 kW	Zwei Server-Slots, zwei Karten. Offload mit 128 GB RAM angenommen. Zwei Karten im KI-Server S Plus (Kutzschbach Electronic).. KI-Server S Plus (AuxData)
8× B200	1,44 TB	Rechenzentrums-Node	DGX B200 (8× 180 GB HBM3e) (8000 GB/s)	ca. 450.000 € (DGX B200, kompletter Node)	14,0 kW	Rechenzentrums-Node, Tensor-Parallel über 8 GPUs
8× B300	2,30 TB	Rechenzentrums-Node	DGX B300 (8× 288 GB HBM3e) (8000 GB/s)	ca. 550.000 € (DGX B300, kompletter Node, Größenordnung)	14,0 kW	Rechenzentrums-Node der Blackwell-Ultra-Generation

Die 96-GB-Klasse entspricht dem KI-Server S mit einer RTX PRO 6000 Blackwell, die 192-GB-Klasse dem KI-Server S Plus mit zwei Karten. Beide bieten wir mit unserem Partner Kutzschbach Electronic als Miete an. Der Sprung auf 192 GB bringt vor allem die großen Mixture-of-Experts-Modelle um 180 bis 320 Mrd. Parameter ohne Offload auf die Karten, mit GPU-Bandbreite statt Unified Memory.

Unified Memory (DGX Spark, Mac Studio, Strix Halo) hat viel Speicher, aber nur ein Viertel bis die Hälfte der Bandbreite einer RTX 3090. Große Modelle laden dort, antworten aber langsam. Für die Node-Klassen rechnen wir mit der Bandbreite einer einzelnen GPU: Bei Tensor-Parallelität skaliert der Einzelstrom nicht mit der Anzahl der Karten, der Durchsatz über viele Nutzer schon.

Was der Rechner nicht abbildet: Personal für Betrieb und Einführung, Ausfallzeiten, Schulung. Und den Grund, der meist den Ausschlag gibt: Bei der Miete bei uns bleiben die Daten im Haus.

Wie gut: die Indizes

Der KI-Index von Artificial Analysis fasst neun Tests zusammen, darunter GPQA Diamond, Humanity’s Last Exam, SciCode, Terminal-Bench und agentische Aufgaben. Coding und Agentic sind Teilindizes daraus. Gemessen wird an den API-Versionen der Anbieter in voller Präzision. Ein Q4-quantisiertes Modell auf der eigenen Karte liegt typischerweise ein bis drei Punkte darunter, bei sehr kleinen Modellen auch mehr. Für die Reihenfolge in der Tabelle spielt das keine Rolle, für die absolute Erwartung schon.

Reasoning kostet Zeit

Viele Modelle gibt es als Reasoning- und Non-Reasoning-Variante mit denselben Gewichten. Der höhere Index der Reasoning-Variante wird mit langen Denkphasen erkauft: Bei 30 Token/s dauert eine Antwort mit 2.000 Denk-Token über eine Minute, bevor der erste sichtbare Satz kommt. In der Tabelle steht die Variante mit dem höchsten Index; die anderen sind unter „Varianten“ aufgeführt.

Wie schnell: Bandbreite, nicht Rechenleistung

Beim Generieren liest die Karte für jeden Token alle aktiven Gewichte einmal aus dem Speicher. Deshalb bestimmt die Speicherbandbreite das Tempo, und deshalb sind Mixture-of-Experts-Modelle so schnell: gpt-oss-120b hat 117 Mrd. Parameter, liest pro Token aber nur 5,1 Mrd. Ein dichtes 27B-Modell liest 27 Mrd. und ist entsprechend langsamer, obwohl es kleiner ist.

Kontext frisst Speicher

Die Reserve in unserer Formel deckt etwa 16.000 Token Kontext ab. Wer regelmäßig 100.000 Token verarbeitet, braucht je nach Architektur mehrere Gigabyte zusätzlich. Ein Modell, das als „Knapp“ eingestuft ist, läuft dann nur mit kleinem Kontext.

Datenquelle

Modellwerte, Parameterzahlen, Lizenzen und Kontextlängen stammen vom Leaderboard von Artificial Analysis, Stand 2026-09-02. Wir übernehmen alle Modelle mit offenen Gewichten, die dort nicht als veraltet markiert sind (190 Einträge), und fassen Varianten mit denselben Gewichten zu einem Basismodell zusammen (154 Basismodelle). Die Zuordnung zu Regionen folgt dem Sitz des Herstellers laut AA. Lizenzen sortieren wir in drei Klassen: frei (Apache 2.0, MIT, BSD, OpenMDW), bedingt (Community-Lizenzen mit Auflagen, etwa von Meta, Alibaba, Google und NVIDIA) und nicht kommerziell.

Speicherbedarf

Byte je Parameter nach Quantisierung: Q4 ≈ 0,58, Q8 ≈ 1,06, FP8 = 1,0, BF16 = 2,0. Der Q4-Wert liegt bewusst etwas unter den 0,60 bis 0,65, die wir an echten GGUF-Dateien messen; die Reserve von 15 Prozent gleicht das aus und deckt KV-Cache und Laufzeitumgebung bei rund 16.000 Token Kontext ab. Für Rechenzentrums-Nodes prüfen wir zuerst FP8, dann 4 Bit. Offload gilt nur für Mixture-of-Experts-Modelle, wenn die aktiven Parameter in den GPU-Speicher passen und die gesamten Gewichte in GPU plus Arbeitsspeicher.

Token/s

Die Bandbreite ist die Herstellerangabe der jeweiligen Karte, der Overhead ein fester Anteil pro Token, der Wirkungsgrad ein Erfahrungswert je Klasse. Bei Offload rechnen wir mit der Bandbreite des Arbeitsspeichers. Die Spanne in der Tabelle ergibt sich aus den Geräten einer Klasse. Alle Werte sind auf 5 gerundet, unter 10 auf 1.

bytesPerParam	Q4 0,58 · Q8 1,06 · FP8 1,0 · BF16 2,0 Byte je Parameter
reserveFactor	1,15 (KV-Cache und Laufzeit bei rund 16.384 Token Kontext)
overheadGB	2,0 GB fester Anteil je Token in der Tempo-Formel
eff	GPU 0,70 · Unified 0,55 · Node 0,50 (auf die Bandbreite einer GPU) · Offload 0,50
sysRamBandwidthGBs	80 GB/s Arbeitsspeicher (DDR5 Dual-Channel) für den Offload-Fall
nodePrecisionOrder	FP8, dann Q4 für 8-GPU-Nodes

Stand der Konstanten: 2026-09-02. Datei: llm-uebersicht/daten/lokale-modelle-hardware.json.

Kosten im Rechner „Was kostet KI für dein Team?“

Stufen nach Personenzahl: bis 50 Personen KI-Server S (999 €) + Paket S (990 €), bis 100 Personen KI-Server S Plus (1620 €) + Paket M (1790 €), darüber individuell; Preise je Monat, UVP zzgl. MwSt., Mindestlaufzeit 36 Monate, aus dem AuxData-Angebot. Einrichtung 9900 € auf 36 Monate umgelegt, abschaltbar. Digitalbonus Bayern: 50 % auf Einrichtung und die ersten 18 Paketmonate (max. förderfähige Laufzeit), auf 36 Monate umgelegt; Hardware im KI-Bereich nicht förderfähig. Sitzpreis Standard 28 € je Person und Monat (Listenpreis je Nutzer und Monat, z. B. ChatGPT Team oder Microsoft 365 Copilot (Stand Mitte 2026, ändert sich)), im Rechner änderbar. Nutzung je Person und Monat in Ausgabe-Token: leicht 200.000, mittel 1 Mio., intensiv 3 Mio., sehr intensiv 10 Mio.. API-Preis mit Token-Mischung 3:1 (Eingabe zu Ausgabe), Dollar als Euro. Kapazität: Token/s des Modells in der Klasse (Messwert, sonst Schätzmitte) × Batching-Faktor 4 als Faustwert für mehrere gleichzeitige Nutzer, gleichzeitig aktiv angenommen 10 % der Personen, Monat mit 720 Stunden. Strompreis 0,30 €/kWh mit der Leistungsaufnahme der Klasse.

Messungen

Gemessen wird auf einer RTX 3090 (24 GB, Ampere, kein FP8) mit LM Studio und Ollama, jeweils Q4-Quantisierung, 16.000 bis 32.000 Token Kontext, ein Warmup-Lauf und danach zwei Läufe mit festem Prompt und 256 Ausgabe-Token, davon der Median. Token/s bezieht sich auf die Generierung, die Zeit bis zum ersten Token steht daneben. Die CPU des Messrechners ist wegen eines Kühlproblems auf 50 Prozent gedrosselt; Offload-Messungen sind dadurch eher zu langsam als zu schnell. Messwerte dienen auch dazu, den Wirkungsgrad der Formel nachzustellen.

Grenzen

Die Formel kennt die Architektur nicht: Modelle mit vielen KV-Heads oder ohne Grouped-Query-Attention brauchen für denselben Kontext mehr Speicher als angenommen. Quantisierungen unterscheiden sich in Qualität und Größe (Q4_K_M, IQ4_XS, MXFP4, AWQ), wir rechnen mit einem Mittelwert. Laufzeitumgebungen (llama.cpp, vLLM, MLX) liegen bei gleicher Hardware um 20 bis 30 Prozent auseinander. Und AA misst Reasoning-Modelle mit der jeweils höchsten Denkstufe; wer lokal mit niedriger Stufe arbeitet, bekommt den Index der entsprechenden Variante.

Ein Modell, das auf einem eigenen Server läuft, schickt keine Daten an einen Anbieter. Damit entfallen Auftragsverarbeitung, Drittlandtransfer und die Frage, ob ein US-Anbieter nach dem CLOUD Act herausgeben muss. Übrig bleibt die Lizenzfrage: Apache 2.0 und MIT erlauben den kommerziellen Betrieb ohne Auflagen, Community-Lizenzen haben Nutzergrenzen oder Namensregeln, nicht kommerzielle Lizenzen scheiden für Unternehmen aus. Die Tabelle zeigt die Klasse, den genauen Lizenznamen beim Überfahren.

Wie das in der Praxis aussieht, steht an drei Stellen: In der KI-Modelle-Übersicht ist „Open-Weight selbst in der EU hosten“ einer von drei Wegen zur DSGVO-Konformität. Unter Lokale KI / On-Prem steht, was ein betriebsfertiger Server mit 96 oder 192 GB kostet. Und im Selbstlernkurs Lokale KI richtest du Ollama oder LM Studio in neun Stufen selbst ein.

Open-Weight

Die trainierten Gewichte sind herunterladbar. Das ist nicht dasselbe wie Open Source: Trainingsdaten und Code fehlen meist, und die Lizenz kann den Einsatz einschränken.

Parameter, aktive Parameter

Parameter sind die Gewichte des Modells in Milliarden. Bei Mixture-of-Experts-Modellen (MoE) wird pro Token nur ein Teil davon gelesen, die aktiven Parameter. Sie bestimmen das Tempo, die Gesamtzahl den Speicherbedarf.

Quantisierung

Gewichte werden mit weniger Bit gespeichert. Q4 braucht etwa ein Viertel des Platzes von BF16 und verliert wenig Qualität; Q8 und FP8 liegen dazwischen. GGUF ist das übliche Dateiformat für llama.cpp, LM Studio und Ollama.

VRAM, Unified Memory

VRAM ist der Speicher auf der Grafikkarte. Unified Memory teilen sich CPU und GPU (Apple Silicon, DGX Spark, Strix Halo): mehr Platz, weniger Bandbreite.

KV-Cache, Kontext

Der Kontext ist die Textmenge, die das Modell gleichzeitig im Blick hat. Dafür hält es pro Token Zwischenwerte im KV-Cache, der mit der Kontextlänge wächst und Speicher neben den Gewichten braucht.

Offload

Teile des Modells liegen im Arbeitsspeicher statt auf der GPU. Bei MoE-Modellen kann das brauchbar sein, weil pro Token nur wenige Experten gelesen werden; bei dichten Modellen wird es sehr langsam.

Token/s, TTFT

Token pro Sekunde beim Generieren; ein deutsches Wort sind etwa 1,5 Token. TTFT ist die Zeit bis zum ersten Token, also die gefühlte Wartezeit.

KI-Index

Der Artificial Analysis Intelligence Index, Skala etwa 0 bis 65, aus neun Tests. Coding- und Agentic-Index sind Teilwerte.