Inferenz

Die Rechnung vor jedem GPU-Kauf: Vollkosten je Karte, realistischer Durchsatz, Kosten je Million Token — und der ehrliche Cloud-Vergleich.

Ollama trägt den Piloten, nicht den Betrieb. Die vier Signale für den Wechsel auf vLLM — und die Migration Schritt für Schritt.

Drei Inferenzserver im Vergleich. Wo die Unterschiede real sind, wo sie in Benchmarks größer wirken als im Betrieb — und was Sie selbst messen müssen.

PyTorch-Modelle als ONNX exportieren: 3-5x schnellere Inferenz, 60 % weniger GPU-Kosten. BERT antwortet in 12 ms statt 45 ms.

LocalAI auf Raspberry Pi 5: Kleine KI-Modelle lokal ausführen für €80 Hardware. Setup für Textklassifikation und Embeddings.