KI-Server-Benchmarking: Leistung messen und vergleichen

Benchmarking: Wie schnell ist Ihr KI-Server?

Ohne Benchmarking weiß man nicht ob die Investition lohnt. Hier messen Sie die Performance Ihres KI-Servers.

Wichtige Metriken

|| Metrik | Beschreibung | Guter Wert | ||---|---|---| || Tokens/Second | Ausgabe-Geschwindigkeit | >10 tok/s (70B) | || TTFT (Time to First Token) | Latenz bis erste Antwort | <500ms | || Throughput | Gesamtausgabe pro Sekunde | >50 tok/s (70B) | || VRAM Usage | Auslastung des Videospeichers | <90% |

Einfacher Benchmark-Skript

import time
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="sk-fake")

prompt = "Schreiben Sie einen 500-Wörter-Aufsatz über KI im Mittelstand."

# Benchmark: Tokens/Second
start = time.time()
response = client.chat.completions.create(
    model="llama3.3:70b",
    messages=[{"role": "user", "content": prompt}],
    max_tokens=500,
    temperature=0,
    stream=True
)

total_tokens = 0
ttft = None
for chunk in response:
    if ttft is None:
        ttft = time.time() - start
    total_tokens += 1

total_time = time.time() - start
tokens_per_second = total_tokens / total_time

print(f"TTFT: {ttft*1000:.0f}ms")
print(f"Tokens/Second: {tokens_per_second:.1f}")
print(f"Total Tokens: {total_tokens}")

Benchmark-Ergebnisse: Hardware-Vergleich

|| Hardware | Modell | TTFT | Tokens/s | VRAM | ||---|---|---|---|---| || RTX 4060 Ti | Qwen2.5-7B | 200ms | 30 | 85% | || RTX 4090 | Llama3.3-8B | 150ms | 35 | 80% | || RTX 4090 | Llama3.3-70B (q4) | 800ms | 12 | 90% | || 2x RTX 4090 | Llama3.3-70B (q4) | 400ms | 30 | 85% | || RTX 6000 Ada | Llama3.3-70B (q4) | 500ms | 15 | 75% | || A100 80GB | Llama3.3-70B | 200ms | 60 | 60% |

LM-Evaluation-Harness: Modell-Benchmarks

# Modell-Benchmark mit LM Evaluation Harness
pip install lm-eval

lm_eval --model hf --model_args "pretrained=meta-llama/Llama-3.3-70B,inference" \
  --tasks mmlu,humaneval,ifeval \
  --batch_size 1

Fazit

Benchmarking ist kein Selbstzweck — es hilft bei der Hardware-Auswahl, bei Modell-Auswahl und bei der Performance-Optimierung.

👉 KI-Server Hardware Guide 👉 Pexon Consulting: Benchmarking & Testing