Lokale KI unter 1.000 Euro: Der Budget-GPU-Server mit 64 GB VRAM

TL;DR

Ein Budget-Build aus Gebraucht-Workstation und zwei AMD-GPUs liefert 64 GB VRAM für unter 1.000 Euro. Damit läuft ein großes lokales Sprachmodell wie Qwen 3 Coder (47 GB) komplett auf eigener Hardware — rund 55 Tokens/Sekunde, Kontext bis 262.000 Tokens. Daten bleiben im Haus, DSGVO-konform, ohne variable Cloud-Kosten. Das ist der Einstieg in Private AI für den Mittelstand.

Warum Private AI heute unter 1.000 Euro beginnt

Die Vorstellung, eigene KI-Hardware sei nur etwas für Konzerne mit sechsstelligen GPU-Clustern, hält sich hartnäckig. Sie stammt aus der Welt des Modelltrainings. Für den Betrieb eines fertigen Modells — Inferenz, wie Fachleute sagen — gilt sie nicht.

Ein dokumentierter Praxistest zeigt, was heute mit Gebraucht-Hardware möglich ist: eine ausgemusterte Workstation, zwei gebrauchte Radeon-Pro-Karten, fertig. Das System betreibt große offene Sprachmodelle lokal — für den Preis eines Mittelklasse-Laptops.

Für IT-Verantwortliche im Mittelstand ändert das die wirtschaftliche Rechnung. Wer Daten aus Vertrags-, DSGVO- oder Sicherheitsgründen nicht in externe Clouds geben will, stand bisher vor der Wahl: teures Enterprise-System oder Cloud. Der dritte Weg heißt jetzt Gebraucht-Hardware plus offene Modelle. Mehr zum rechtlichen Rahmen finden Sie in unserem Überblick zu DSGVO-konformem Chatbot-Betrieb auf eigenen Servern.

Unsere Position ist klar: Private AI ist keine Konzern-Domäne mehr. Der Unterschied zwischen Bastelei und Produktion ist allerdings groß — dazu unten mehr.

Der Build: Was drinsteckt

Die Basis ist ein gebrauchter HP Z4 G4 — eine ausgemusterte Workstation, wie sie nach Leasing- oder Projektlaufzeiten regelmäßig auf dem Gebrauchtmarkt landet:

• CPU: Intel Core i9-7900X, RAM: 32 GB, SSD: 480 GB NVMe
• Netzteil: 1.000 Watt mit vier 8-Pin-Anschlüssen — das entscheidende Auswahlkriterium für zwei Vollstrom-GPUs
• Chipsatz: X299

Dazu kamen zwei AMD Radeon Pro V620 mit je 32 GB VRAM. Ergeben zusammen 64 GB VRAM — genug, um große Sprachmodelle mit vollem Kontext zu laden.

budget_build_lokale_ki:
  workstation: hp_z4_g4_gebraucht   # ~400 USD
    cpu: intel_core_i9_7900x
    ram: 32_gb
    ssd: 480_gb_nvme
    netzteil: 1000_watt_mit_4x_8pin   # Pflichtkriterium!
    ueberraschung: rtx_2080_ti_in_der_kiste   # ~200 USD verkaufbar
  gpus:
    - 2x_amd_radeon_pro_v620   # je 32 GB VRAM, je ~350 USD
  gesamt_vram: 64_gb
  gesamtkosten: ca_900_1000_usd

Ein Detail aus dem Praxistest verdient Erwähnung: In der Workstation steckte noch eine RTX 2080 Ti, die sich für rund 200 US-Dollar weiterverkaufen ließ. Die effektiven Einstiegskosten sanken dadurch auf etwa 200 US-Dollar für das Grundsystem.

Was der Build in der Praxis leistet

Die Messwerte stammen aus dem dokumentierten Testaufbau: LM Studio unter Linux mit Vulkan-Runtime erkennt beide V620-Karten mit je 32 GB VRAM.

Wichtig für die Einordnung: Qwen 3 Coder ist ein MoE-Modell (Mixture of Experts). Von den 80 Milliarden Parametern sind pro Anfrage nur etwa 10 Milliarden aktiv. Genau solche Architekturen machen große Modelle auf begrenztem VRAM praktikabel — der komplette Speicherbedarf von 47 GB muss trotzdem vorhanden sein.

Was das für ein mittelständisches Team bedeutet: große offene Modelle lokal, mit extrem großzügigem Kontext und flüssiger Antwortgeschwindigkeit. Die Basis für eigene KI-Agenten ist damit vorhanden.

Die Konfiguration ist nicht trivial

Ein solcher Build ist keine Steckdose-Installation. Ehrlich gesagt: Wer hier ohne technisches Know-how rangeht, verliert schnell ein Wochenende.

• BIOS-Update (P62) ist Pflicht — für Resizable-BAR und die nötigen Optionen
• PCIe-Gen-3-Setting und Resizable BAR müssen auf allen GPU-Slots aktiviert sein — sonst bootet das System nicht
• Treiber-Konflikte vermeiden: Eine alte AMD-Karte als Display-GPU kollidierte mit den neueren Navi-Karten. Erst der Wechsel auf eine NVIDIA-Quadro löste das Problem
• Kühlung: Die V620 bringt keine Standard-Kühlung mit. Extra-Lüfter und Montage-Brackets waren nötig
• Kleinkram: Wi-Fi-Dongle (die Z4 hat nur Ethernet); für DaVinci Resolve braucht die Display-Karte mindestens 4 GB VRAM

Zwei Shopping-Tipps aus dem Praxistest: Die V620 gibt es bei bestimmten Verkäufern auf eBay per Best-Offer für rund 350 US-Dollar. Bei den Z4-Preisen streut der Markt stark — das 1.000-Watt-Netzteil (erkennbar an den zwei zusätzlichen 8-Pin-Kabeln) ist das entscheidende Auswahlkriterium, nicht der Chipsatz.

Wer den Zusammenbau nicht selbst leisten will, muss nicht verzichten: Der Leitfaden zu gebrauchten GPU-Servern zeigt die Alternative über spezialisierte Händler, und der KI-Server-GPU-VRAM-Rechner hilft, den VRAM-Bedarf vorab zu kalkulieren.

Die Kostenrechnung

Die Komponenten kommen vom internationalen Gebrauchtmarkt, daher die Angaben in US-Dollar. Mit Versand und Einfuhr landet man realistisch bei rund 1.000 Euro — die Kernaussage bleibt: Private AI beginnt heute bei rund 1.000 Euro, nicht bei sechsstelligen Cluster-Kosten.

Was das wirtschaftlich bedeutet:

• Offene Modelle kosten keine Lizenz. Nur Hardware, Strom und Betrieb.
• Keine variablen Token-Kosten. Nach der Investition planbar.
• Einstiegshürde gesenkt. Experimente und erste produktive Use Cases werden budget-fähig.

Die ehrliche Einordnung gehört dazu: Für mehrere Teams, hohe Auslastung oder Audit-Anforderungen steigt die Kostenklasse deutlich. Genau diese Schwelle sollte man vor dem Kauf kennen — mehr dazu im Vergleich von GPU-Optionen für KI-Server.

Prototyp statt Produktion: Wo die Grenzen liegen

Der Budget-Build ist ein hervorragender Prototyp. Er ist kein Produktionssystem — und wer das verwechselt, zahlt doppelt.

1. Der Build ist nicht trivial. BIOS, Resizable-BAR, Treiber-Konflikte und Kühlung erfordern Know-how. Nicht „einfach nachbauen", sondern verstehen.
2. Gebrauchte Hardware ist ein Restposten-Markt. Preise streuen stark, Zustand und Lebensdauer variieren. Wer nicht prüft, zahlt doppelt.
3. Kein Enterprise-Betrieb. Es fehlen redundantes Netzteil, Monitoring und garantierte Komponenten. Für geschäftskritischen Einsatz ungeeignet.
4. Skalierung kostet. Von 64 GB VRAM zu mehreren Teams und paralleler Last ist ein Sprung in eine andere Kostenklasse — machbar, aber nicht gratis.
5. Private AI ist mehr als Hardware. Ohne sauberen Stack (Gateway, Modelle, Monitoring) bleibt auch teure Hardware ungenutzt.

Die gute Nachricht: Der Weg von der Bastelei zur Produktion ist dokumentiert und planbar. Für den produktiven Einsatz sieht der Übergang in der Praxis so aus:

Der entscheidende Gedanke: Der Budget-Build beweist die Machbarkeit. Für den produktiven Mittelstandseinsatz baut man darauf die professionelle Stufe — ohne Vendor-Lock-in, DSGVO-konform, mit planbaren Kosten. Den Rahmen dafür liefert die Open-Source-KI-Plattform-Architektur.

Was das für den Mittelstand bedeutet

• Private AI beginnt heute bei rund 1.000 Euro. Daten bleiben im Haus — DSGVO-konform, ohne Abhängigkeit von Cloud-Anbietern.
• Offene Modelle auf eigener Hardware. Ob DeepSeek, GLM, Qwen oder Nemotron: Die Gewichte sind offen, der Betriebsort entscheidet über die Rechtslage. Genau das macht Private AI für den Mittelstand attraktiv.
• Der ganze Stack zählt, nicht nur die GPU. GPU → Modellkatalog → LLM-Gateway → Agents. Das LiteLLM-Gateway bündelt dabei alle Modelle hinter einer API und hält die Kosten steuerbar.

Häufige Fragen

Reichen 64 GB VRAM wirklich für moderne LLMs?

Ja — für einzelne große Modelle (z. B. Qwen 3 Coder mit 47 GB) oder mehrere mittlere Modelle parallel. Mit vollem Kontext (bis 262.000 Tokens) und rund 55 Tokens/Sekunde. Für parallele Last mehrerer Teams wird es eng — dann ist die skalierte Stufe die richtige Antwort.

Muss ich die Hardware selbst zusammenbauen?

Der Budget-Build erfordert technisches Know-how (BIOS, Treiber, Kühlung). Wer das nicht leisten will, startet mit gemieteter GPU-Kapazität oder lässt die produktive Stufe professionell aufbauen — beides gängige Wege.

Ist ein eigener GPU-Server DSGVO-konformer als Cloud?

Grundsätzlich ja — die Daten verlassen das Haus nicht. Aber auch der eigene Betrieb braucht Prozesse (Zugriff, Audit, Monitoring), um nachweisbar konform zu sein. Genau dafür gibt es Managed-Service-Begleitung.

Lohnt sich der Budget-Build für unser Unternehmen?

Für Prototypen, Experimente und erste Private-AI-Use-Cases: ja. Für geschäftskritischen Mehr-Team-Betrieb: besser direkt die skalierte Stufe planen. Wir helfen, das richtig einzuordnen.

Was unterscheidet Bastelei von Produktion?

Redundanz, Monitoring, Support und dokumentierte Prozesse. Der Budget-Build liefert das Prinzip und echte LLM-Leistung — die Produktion liefert Betriebssicherheit. Beides hat seinen Platz, man sollte nur nicht beides verwechseln.

Fazit und nächster Schritt

Lokale KI ist heute erschwinglich. Ein Budget-Build mit Gebraucht-Hardware liefert echte LLM-Fähigkeit für rund 1.000 Euro — und damit den Einstieg in Private AI, bei dem die Daten im Haus bleiben. Für Experimente und erste Use Cases ist das die günstigste Tür in das Thema.

Wenn Sie vom Budget-Build zum produktiven, betriebssicheren Private-AI-System kommen wollen — von der ersten Inferenz bis zum Managed Betrieb: Sprechen Sie uns an. Wir beraten neutral zwischen Kaufen, Mieten und Hybrid und begleiten den kompletten Weg vom Prototyp bis zur Produktion.