Eigenen Chatbot erstellen: €34k sparen mit DIY-Anleitung [OpenWebUI 2025]

Minimal (bis 10 User):
  - CPU: 4 Cores
  - RAM: 16 GB
  - GPU: Optional (Intel/AMD integriert)
  - Storage: 100 GB SSD
  - Kosten: €500 (gebraucht) ODER Cloud €15/Mt

Empfohlen (bis 50 User):
  - CPU: 8 Cores (AMD Ryzen 7 / Intel i7)
  - RAM: 32 GB
  - GPU: NVIDIA GTX 1660 Ti (6 GB) ODER besser
  - Storage: 500 GB NVMe
  - Kosten: €1.200 (neu) ODER Cloud €45/Mt

# System aktualisieren
sudo apt update && sudo apt upgrade -y

# Docker installieren
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh
sudo usermod -aG docker $USER

# NVIDIA GPU Support (falls vorhanden)
# https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

# Ollama CLI installieren
curl -fsSL https://ollama.ai/install.sh | sh

# LLM-Modelle herunterladen (wähle 1-2)
ollama pull llama3.2:3b        # Schnell, 2 GB RAM
ollama pull llama3.1:8b        # Balanced, 5 GB RAM
ollama pull mixtral:8x7b       # High-Quality, 26 GB RAM

# Test
ollama run llama3.2:3b
>>> Hallo, wie geht's?

# OpenWebUI mit Docker (inklusive Ollama)
docker run -d \
  --name openwebui \
  -p 3000:8080 \
  -v openwebui:/app/backend/data \
  --add-host=host.docker.internal:host-gateway \
  --restart always \
  ghcr.io/open-webui/open-webui:main

# Oder mit externem Ollama
docker run -d \
  --name openwebui \
  -p 3000:8080 \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v openwebui:/app/backend/data \
  --restart always \
  ghcr.io/open-webui/open-webui:main

# Öffne http://localhost:3000
# Erstelle Admin-Account

# RAG-Implementierung für Eigenen Chatbot

from llama_index import VectorStoreIndex, SimpleDirectoryReader
from llama_index.llms import Ollama

# 1. Dokumente laden
documents = SimpleDirectoryReader('/path/to/company-docs').load_data()

# 2. Index erstellen (Vektorisierung)
llm = Ollama(model="llama3.1:8b", base_url="http://localhost:11434")
index = VectorStoreIndex.from_documents(documents)

# 3. Query Engine
query_engine = index.as_query_engine(llm=llm)

# 4. Anfrage mit Firmenkontext
response = query_engine.query("Wie ist unser Rückgabeprozess?")
print(response)

# docker-compose.yml für OpenWebUI mit LDAP

version: '3.8'
services:
  openwebui:
    image: ghcr.io/open-webui/open-webui:main
    ports:
      - "3000:8080"
    environment:
      OLLAMA_BASE_URL: http://ollama:11434
      ENABLE_LDAP: "true"
      LDAP_SERVER_URL: "ldap://dc.company.local:389"
      LDAP_BIND_DN: "CN=svcaccount,OU=Services,DC=company,DC=local"
      LDAP_BIND_PASSWORD: "SuperSecret123"
      LDAP_USER_SEARCH_BASE: "OU=Users,DC=company,DC=local"
      LDAP_USER_SEARCH_FILTER: "(sAMAccountName={username})"
    volumes:
      - openwebui:/app/backend/data
    restart: always

  ollama:
    image: ollama/ollama:latest
    volumes:
      - ollama:/root/.ollama
    restart: always

volumes:
  openwebui:
  ollama:

# Automatische DSGVO-Funktionen

# Löschung aller Nutzerdaten
docker exec openwebui python manage.py delete_user max.mustermann@firma.de

# Export aller Daten (Art. 20 DSGVO)
docker exec openwebui python manage.py export_user_data max.mustermann@firma.de > user_data.json