Hardware für lokale LLMs: NVIDIA, AMD und Intel – nach der Kapazität zählt die Bandbreite

Bei Hardware für lokale LLMs sollte man nicht nur die Speicherkapazität, sondern auch die Bandbreite beachten.

Kosten für Cloud-APIs und Datenschutzbedenken veranlassen immer mehr Entwickler, KI-Modelle auf eigenen Rechnern zu betreiben. NVIDIA, AMD und Intel bieten dafür jeweils unterschiedliche Entwickler-Hardware an. Legt man die Daten nebeneinander, fällt etwas auf: Zwei Produkte können beide 128 GB Speicher haben und sich dennoch stark darin unterscheiden, wie schnell sie ihn lesen können (Bandbreite). Diese Geschwindigkeit bestimmt maßgeblich, wie schnell die KI Text erzeugt.

Zuerst ein paar Begriffe: VRAM ist der dedizierte Speicher einer Grafikkarte. Unified Memory bedeutet, dass sich CPU und GPU einen gemeinsamen Speicher teilen. Bandbreite ist die Geschwindigkeit, mit der Speicher Daten bewegt (GB/s). Inferenz heißt, mit einem fertigen Modell Antworten zu erzeugen.

Auf einen Blick

Produkt	Speicher	Bandbreite	Berichteter Preis
NVIDIA DGX Spark (GB10)	128 GB Unified	273 GB/s	4.699 US-Dollar (rund 4.200 Euro, im Februar erhöht)
NVIDIA RTX PRO 6000 Blackwell	96 GB VRAM	1.792 GB/s	rund 8.565 US-Dollar (7.700 Euro) zum Start, zuletzt 16.000 US-Dollar (rund 14.000 Euro) im Marktplatz (nicht lieferbar)
AMD Ryzen AI Halo (Ryzen AI Max+ 395)	128 GB Unified	etwa 256 GB/s (theoretisch)	3.999 US-Dollar (rund 3.600 Euro, Verfügbarkeit unbestätigt)
Intel Arc Pro B60 / B70	24 GB / 32 GB	nicht gefunden	nicht gefunden

Preise ändern sich schnell und unterscheiden sich je nach Quelle. Vor dem Kauf aktuelle Preise und Verfügbarkeit auf der offiziellen Seite und bei Händlern prüfen.

NVIDIA: beides nutzbar, aber unterschiedlich

Der DGX Spark bringt 128 GB Unified Memory in ein kleines Gehäuse. Er eignet sich gut, um große Modelle komplett zu laden, doch seine Bandbreite von 273 GB/s wird als niedriger als beim Apple M4 Max (rund 400 GB/s) kritisiert. Der Preis stieg Berichten zufolge im Februar wegen knapper Speicherversorgung von 3.999 auf 4.699 US-Dollar.
Die RTX PRO 6000 Blackwell ist eine Workstation-GPU mit 96 GB, die in einen normalen PC gesteckt wird. Ihre Bandbreite ist mehr als sechsmal so hoch wie die des Spark, dasselbe Modell läuft also deutlich schneller, kostet aber auch erheblich mehr. Für diese Klasse gibt es keinen festen Listenpreis; die Preise hängen vom Händler ab und sind zuletzt stark gestiegen.

AMD: 128 GB Unified Memory, die Einrichtung ist der Haken

AMD hat auf der CES in diesem Jahr den Entwickler-Mini-PC Ryzen AI Halo vorgestellt, mit 128 GB Unified Memory und vorinstalliertem ROCm. Er war für Juni angekündigt; ob er tatsächlich ausgeliefert wird, konnten wir nicht bestätigen.
PCs anderer Hersteller nutzen denselben Chip (Ryzen AI Max+ 395). Standardmäßig wird der GPU nur wenig Speicher zugewiesen, man muss das selbst einstellen; unter Windows lassen sich bis zu 96 GB der 128 GB der GPU geben.
In der Community heißt es oft, bei Modellen ab 70B laufe das Vulkan-Backend besser als ROCm. Das stammt aus Benchmarks auf Blog-Niveau, daher am besten mit der eigenen Arbeitslast selbst vergleichen.

Intel: Großer Speicher für Server, Entwicklerteile sind experimentell

Intels Teil mit großem Speicher, Crescent Island, ist eine Inferenz-GPU fürs Rechenzentrum mit 160 GB LPDDR5X. Erste Muster werden in der zweiten Jahreshälfte erwartet, die allgemeine Verfügbarkeit 2027. Für einzelne Entwickler ist das kein Kaufprodukt.
Einzelpersonen können die Karten Arc Pro B60 (24 GB) und B70 (32 GB) nutzen. Anwender berichten, dass sie mit llama.cpp (SYCL, Vulkan) und vLLM laufen, nennen aber auch Treiberfehler und Speichermangel.
Die Aussage, Intel greife Entwickler mit Chips mit großem Unified Memory an, passt derzeit also nicht. Verfügbar sind für Entwickler Arc-Pro-Karten, und auf der Softwareseite hat OpenVINO nur ein Vorschau-Backend für llama.cpp.

Was sich für Entwickler ändern könnte

Das Folgende ist unsere Einschätzung und unser Rat auf Grundlage der Berichte.

Erst die Modellgröße, dann die Geschwindigkeit. Passt das Modell nicht in den Speicher, ist Geschwindigkeit egal. Kapazität am gewünschten Modell prüfen, danach die Bandbreite vergleichen.
Gleiche Kapazität, anderes Gefühl. Selbst unter Produkten mit 128 GB Unified Memory und im Vergleich zu einer Karte mit 96 GB VRAM kann die Geschwindigkeit, mit der Text erscheint, stark abweichen.
Softwareunterstützung prüfen. CUDA ist am bequemsten; bei ROCm und Intel (SYCL, OpenVINO) wird oft Einrichtungsaufwand erwähnt. Prüfen, ob die genutzten Tools (Ollama, llama.cpp, vLLM) die Hardware unterstützen.
Preise schwanken. Es gibt Berichte, dass Speicherknappheit die Preise erhöht hat. Beim Vergleich mit Cloud-API-Kosten mit aktuellen Preisen und tatsächlicher Nutzung neu rechnen.

Was man beobachten sollte

Tatsächliche Markteinführung und Preis des Ryzen AI Halo, Nachfolger des Spark und Preisentwicklung, Intels Zeitplan für Crescent Island sowie der Stand der Unterstützung für ROCm und OpenVINO.

Die Euro-Umrechnung folgt dem Kurs vom 14. Oktober (1 US-Dollar ≈ 0,89 Euro) und ist gerundet.