Gpu

198 Milliarden Parameter, Apache 2.0, eingebautes Bildverständnis — und zwei Karten statt acht. Das Modell mit der besten Aufwand-Nutzen-Relation im Feld.

Ein 30B-MoE belegt die vollen 19 GB VRAM — sparsam ist nur die Rechenlast pro Token. Die Speicherrechnung Posten für Posten, mit Modelltabelle.

Soofi S hat 3,2 Mrd. aktive Parameter, braucht aber VRAM für 31,6 Mrd. Was das für die GPU-Wahl heißt — mit offener Rechnung und Stand der Tools.

GPU-Server für KI-Training kaufen oder mieten? VRAM, NVLink und ECC erklärt — plus die Rechnung, wann Miete den Kauf schlägt.

Ein LLM über zwei Rechner verteilen: Ollama kann es nicht, llama.cpp schon. Befehle, echte Benchmarks — und warum meist eine größere GPU gewinnt.