Einen KI-Stack ohne Internetzugang aufsetzen

TL;DR

Jede Standardanleitung setzt voraus, dass der Server ins Netz kommt. Im abgeschotteten Betrieb müssen Sie vier Dinge vorher besorgen: Container-Abbilder, Modellgewichte, Python-Pakete und GPU-Treiber — jeweils in exakt den Versionen, die zusammenpassen. Der Aufbau dauert nicht länger, aber die Vorbereitung ist ein eigener Arbeitsschritt.

Wann das nötig ist

Nicht so selten, wie es klingt. Drei Konstellationen:

Produktionsnetze. Anlagensteuerung ist üblicherweise vom Büronetz getrennt. Wenn ein Assistent auf Maschinendaten und Wartungshistorien zugreifen soll, läuft er dort.

Kritische Infrastruktur. Bei Energieversorgern und Wasserwerken gibt es Netzbereiche, die keinen ausgehenden Verkehr haben dürfen.

Auftragsbedingte Auflagen. Verteidigungsnahe Fertigung, bestimmte Behördenaufträge.

Die Motivation ist in allen drei Fällen dieselbe: Ein System, das nicht nach außen sprechen kann, kann auch nichts nach außen geben. Das ist die stärkste Form der Datenkontrolle — und Sie geben dafür jede Bequemlichkeit auf.

Was Sie vorher sammeln müssen

Machen Sie das auf einem Rechner mit Netzzugang und derselben Prozessorarchitektur wie das Ziel.

Container-Abbilder. Als Archiv exportieren, nicht aus einer Registry ziehen:

# Versionen festnageln — 'latest' ist im abgeschotteten Betrieb ein Fehler
for img in \
  vllm/vllm-openai:v0.11.0 \
  ghcr.io/berriai/litellm:main-v1.60.0 \
  ghcr.io/open-webui/open-webui:v0.5.20 \
  qdrant/qdrant:v1.13.0 \
  postgres:17.2
do
  docker pull "$img"
done

docker save vllm/vllm-openai:v0.11.0 ghcr.io/berriai/litellm:main-v1.60.0 \
  ghcr.io/open-webui/open-webui:v0.5.20 qdrant/qdrant:v1.13.0 postgres:17.2 \
  | gzip > ki-stack-abbilder.tar.gz

Feste Versionen sind hier keine Empfehlung, sondern Voraussetzung. Ein latest-Abbild lässt sich später nicht reproduzieren, und im abgeschotteten Betrieb ist Reproduzierbarkeit das Einzige, was Sie noch haben.

Modellgewichte. Für das Sprachmodell, das Einbettungsmodell und, falls verwendet, den Reranker:

hf download Qwen/Qwen3-30B-A3B-Instruct --local-dir ./modelle/sprachmodell
hf download <ihr-einbettungsmodell> --local-dir ./modelle/einbettung
tar czf modelle.tar.gz modelle/
sha256sum modelle.tar.gz > modelle.sha256

Die Prüfsummen sind nicht optional. Auf dem Transportweg über ein Wechselmedium ist eine beschädigte Datei ein reales Risiko, und ein halb übertragenes Modell erzeugt Fehler, die schwer zuzuordnen sind.

Python-Pakete. Als Räder herunterladen, für die Zielplattform:

pip download -r requirements.txt -d ./pakete \
  --platform manylinux2014_x86_64 --only-binary=:all: --python-version 3.12

GPU-Treiber und Container-Werkzeug. Der Treiber und das NVIDIA-Container-Werkzeug als Pakete für Ihre Distribution. Das ist der Teil, der bei Erstinstallationen am häufigsten fehlt und dann eine zweite Fahrt zum Standort bedeutet.

Die Dokumentation. Kein Witz: Ohne Netzzugang können Sie nichts nachschlagen. Spiegeln Sie die Dokumentationsseiten der eingesetzten Projekte als PDF oder statische Kopie.

Der Aufbau vor Ort

# Abbilder einspielen
gunzip -c ki-stack-abbilder.tar.gz | docker load

# Prüfsummen kontrollieren, dann Modelle auspacken
sha256sum -c modelle.sha256 && tar xzf modelle.tar.gz -C /models

# Container-Netz ohne ausgehende Route
docker network create --internal ki-intern

Das --internal-Netz ist der Punkt, der die Abschottung technisch durchsetzt. Container in diesem Netz können untereinander sprechen und nicht nach außen. Damit ist auch belegbar, dass keine Telemetrie abfließt — ein Nachweis, der in Audits regelmäßig verlangt wird und mit einem Mitschnitt geführt werden kann.

Zwei Dinge, die im abgeschotteten Betrieb typischerweise Ärger machen:

Zeitsynchronisation. Ohne Zeitserver driften die Uhren. Das führt zu abgelaufenen Zertifikaten, unbrauchbaren Protokollzeitstempeln und scheiternden Token-Prüfungen. Richten Sie einen internen Zeitserver ein.

Zertifikate. Ohne externe Zertifizierungsstelle brauchen Sie eine interne oder selbst signierte Zertifikate — und dann müssen alle Clients das Wurzelzertifikat kennen. Planen Sie das ein, statt es beim ersten TLS-Fehler zu improvisieren.

Aktualisieren

Der Teil, der auf Dauer zählt und den man vorher regeln sollte.

Ein abgeschotteter Stack veraltet, wenn niemand ihn pflegt. Legen Sie einen Rhythmus fest — quartalsweise ist praktikabel — und behandeln Sie jede Aktualisierung wie eine kleine Neuinstallation: Pakete auf dem Netzrechner sammeln, Prüfsummen bilden, übertragen, in einer Testumgebung einspielen, dann produktiv.

Was dabei hilft: eine Liste aller eingesetzten Versionen als versionierte Datei. Ohne sie weiß nach einem Jahr niemand mehr, welcher Stand läuft — und die Frage kommt spätestens bei der nächsten Sicherheitslücke.

Was Sie im abgeschotteten Betrieb nicht bekommen: automatische Modellaktualisierung, Cloud-Ausweichrouten und Werkzeuge, die nach Hause telefonieren. Prüfen Sie jede Komponente vorher darauf — manche verweigern ohne erreichbaren Lizenzserver den Dienst. Bei den quelloffenen Bausteinen aus dem Vergleich der LLM-Gateways ist das unkritisch, bei kommerziellen Produkten müssen Sie es klären.

Häufig gestellte Fragen

Kann ein LLM-Stack vollständig ohne Internetzugang betrieben werden?

Ja, alle notwendigen Bausteine — Inferenzserver, Gateway, Vektordatenbank, Chat-Oberfläche — funktionieren offline. Die Modellgewichte sind Dateien ohne Rückkanal. Aufwendig ist ausschließlich die Vorbereitung: Alle Abbilder, Pakete, Treiber und Modelle müssen in zusammenpassenden Versionen vorher beschafft werden.

Warum sind feste Versionsangaben im abgeschotteten Betrieb so wichtig?

Weil Reproduzierbarkeit das Einzige ist, worauf Sie sich stützen können. Ein Abbild mit beweglichem Versionsschlagwort lässt sich später nicht sicher wiederherstellen, und bei einem Wiederaufbau nach einem Ausfall haben Sie möglicherweise einen anderen Stand als vorher. Halten Sie alle Versionen in einer versionierten Datei fest.

Wie prüfe ich, dass wirklich nichts nach außen geht?

Über ein Container-Netz ohne ausgehende Route und einen Mitschnitt des Netzverkehrs über einen definierten Zeitraum. Beides zusammen ergibt einen Nachweis, der in Audits trägt. Prüfen Sie zusätzlich die Standardeinstellungen jeder Komponente — mehrere Werkzeuge senden voreingestellt Nutzungsdaten an ihre Hersteller.

Wie werden Aktualisierungen im abgeschotteten Betrieb gehandhabt?

Als geplanter Vorgang in festem Rhythmus, quartalsweise ist praktikabel. Jede Aktualisierung läuft wie eine kleine Neuinstallation: Pakete auf einem Rechner mit Netzzugang sammeln, Prüfsummen bilden, über ein Wechselmedium übertragen, in einer Testumgebung einspielen und erst dann produktiv nehmen.

Funktionieren kommerzielle KI-Produkte im abgeschotteten Netz?

Nicht selbstverständlich. Manche verlangen eine Verbindung zu einem Lizenzserver und verweigern ohne diese den Dienst, andere melden Nutzungsdaten. Klären Sie das vor der Beschaffung ausdrücklich und lassen Sie sich die Offline-Fähigkeit vertraglich bestätigen — quelloffene Bausteine haben dieses Problem in der Regel nicht.

Der nächste Schritt

Erstellen Sie die Versionsliste, bevor Sie irgendetwas herunterladen: jede Komponente mit exakter Version, dazu Modelle und Prüfsummen. Diese eine Datei entscheidet, ob Sie den Stand in zwei Jahren noch reproduzieren können. Bei der Planung unterstützen wir gern.