- Published on
KI-Server-Sicherheit: Hardening für LLM-Deployments
- Authors

- Name
- Phillip Pham
- @ddppham
KI-Server absichern: Die wichtigsten Maßnahmen
Ein KI-Server enthält wertvollste Daten — er muss genauso abgesichert werden wie jeder andere Server im Unternehmen.
1. SSH-Hardening
# /etc/ssh/sshd_config
PermitRootLogin no
PasswordAuthentication no
PubkeyAuthentication only
AllowUsers admin
MaxAuthTries 3
2. Firewall (UFW)
# Firewall aktivieren
sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow 22/tcp # SSH
sudo ufw allow 8000/tcp # vLLM API
sudo ufw allow 3000/tcp # Open WebUI
sudo ufw enable
3. Docker-Security
# docker-compose.yml: Nicht-root Benutzer
services:
llm:
user: "1000:1000"
read_only: true
security_opt:
- no-new-privileges:true
volumes:
- ./models:/models:ro
4. Network Segmentation
KI-Server (10.0.0.10)
├── SSH: Nur aus 10.0.0.0/24
├── API: Nur aus 10.0.0.0/24
├── WebUI: Optional öffentlich (Auth!)
└── Keine Internet-Connectivity nötig
5. Backup-Strategie
| Was | Wie oft | Wo | Verschlüsselt |
|---|---|---|---|
| Vektordatenbank | Täglich | NAS | Ja (AES-256) |
| Modelle | Wöchentlich | External Drive | Nein (öffentlich) |
| Konfiguration | Täglich | Git Repo | Ja |
6. Monitoring
# Unusual login detection
sudo journalctl -u sshd --since "1 hour ago" | grep "Failed"
# Network connection monitoring
sudo ss -tunap | grep ESTAB
Checkliste für den produktiven KI-Server
- SSH: Key-basiert, Root-Login deaktiviert
- Firewall: UFW aktiv, nur benötigte Ports
- Docker: Non-root user, read-only filesystem
- Updates: Monatlich apt update && upgrade
- Backup: Täglich, verschlüsselt, getestet
- Monitoring: Prometheus + Grafana
- Logging: Alle Zugriffe protokolliert
Fazit
KI-Server sind keine Spielwiesen — sie enthalten wertvollste Firmendaten. Die oben genannten Maßnahmen kosten ~2h Initialaufwand, schützen aber Ihre Daten für Jahre.
👉 DSGVO-Compliance-Check: Kostenlos 👉 Pexon Consulting: IT-Security
Quellen & Weiterführende Links
📖 Verwandte Artikel
Weitere interessante Beiträge zu ähnlichen Themen
KI-Schwachstellenanalyse DORA: -40% False Positives, €70k gespart
DORA Art. 10 fordert robuste Schwachstellenanalyse. Erfahren Sie, wie KI False Positives um 40% reduziert und Compliance-Kosten für mittelständische Finanzinstitute um €70.000 senkt.
Keyless Identity für MCP-Agents: Ohne statische Secrets
MCP-Agents mit statischen Secrets sind ein Sicherheitsrisiko. Keyless Identity gibt Pods kurzfristige, kryptografisch gebundene Identität — ohne Secrets, die gestohlen werden können.
AI-Agenten sandboxen: VM-Isolation mit Kata Containers
AI-Agents führen unkontrollierten Code aus. Container teilen den Host-Kernel — VM-Isolation mit Kata Containers schützt. Der Leitfaden für sichere Agent-Sandboxes auf Kubernetes.
Bereit für KI im Mittelstand?
Nutzen Sie unsere 10 kostenlosen KI-Tools und Praxis-Guides – oder sprechen Sie direkt mit unseren Experten.
Pexon Consulting – KI-Beratung für den Mittelstand | Scaly Academy – Geförderte KI-Weiterbildung (KI-Spezialist, KI-Experte, Workflow-Automatisierung)