Souveräne KI ohne Marketing: die drei Ebenen, die man trennen muss

TL;DR

Souveräne KI heißt nicht "Server in Frankfurt". Der Begriff zerfällt in drei Ebenen: Datenresidenz (wo die Bits liegen), Betriebssouveränität (wer zugreifen kann und welches Recht gilt) und technologische Souveränität (ob Sie den Anbieter wechseln können). Eine EU-Region löst nur die erste. Die anderen beiden kosten Geld und Bequemlichkeit.

Drei Ebenen, die das Marketing zu einer verschmilzt

"Souverän" ist derzeit das billigste Wort im Cloud-Vertrieb. Es steht auf Datenblättern für alles zwischen "unser Rechenzentrum steht in Hessen" und "wir versprechen, brav zu sein". Wenn Sie den Begriff auseinandernehmen, bleiben drei klar unterscheidbare Fragen übrig — und fast jeder Anbieter beantwortet nur eine davon, redet aber über alle drei.

Datenresidenz ist die einfachste: In welchem geografischen Raum werden die Daten gespeichert und verarbeitet? Das lässt sich vertraglich zusichern, technisch prüfen und in einem Audit belegen. Praktisch alle großen Anbieter haben das gelöst. Microsoft hat die dritte und letzte Phase der EU Data Boundary am 26. Februar 2025 abgeschlossen, AWS hat am 15. Januar 2026 die erste Region seiner European Sovereign Cloud in Brandenburg allgemein verfügbar gemacht — mit drei Verfügbarkeitszonen und angekündigten 7,8 Milliarden Euro Investition in Deutschland bis 2040.

Betriebssouveränität fragt: Wer kann auf die Daten zugreifen, wer betreibt die Maschinen, unter welche Rechtsordnung fällt der Betreiber? Hier wird es unangenehm, und hier hört die Datenresidenz auf zu helfen.

Technologische Souveränität ist die Ebene, die im Vertrieb nie vorkommt: Können Sie in drei Jahren wechseln? Läuft Ihre Anwendung auch, wenn der Anbieter das Modell abschaltet, den Preis verdoppelt oder Europa verlässt? Wer hier keine Antwort hat, ist unabhängig vom Serverstandort abhängig.

Die Reihenfolge ist wichtig. Fast jede Diskussion, die wir in Mittelstandsprojekten erleben, startet bei Ebene eins, endet bei Ebene eins und hält das für erledigt.

Der CLOUD Act ist der Prüfstein, nicht die DSGVO

Im Juni 2025 saß Anton Carniaux, Direktor für Public Affairs und Recht bei Microsoft France, vor einer Untersuchungskommission des französischen Senats. Unter Eid wurde er gefragt, ob er garantieren könne, dass Daten französischer Bürger niemals ohne Zustimmung der französischen Regierung an die US-Regierung gehen. Seine Antwort: Nein, das könne er nicht garantieren — es sei allerdings noch nie vorgekommen. (Protokoll der Anhörung, aufgegriffen u. a. bei The Register)

Das ist kein Skandal, sondern schlicht die Rechtslage. Der US CLOUD Act von 2018 verpflichtet US-Unternehmen zur Herausgabe von Daten, die sie besitzen, verwahren oder kontrollieren — unabhängig davon, in welchem Land der Server steht. Das Gesetz folgt dem Konzern, nicht der Hardware. Ein Frankfurter Rechenzentrum einer US-Tochtergesellschaft löst Ebene eins und lässt Ebene zwei unberührt.

Damit ist auch klar, warum die übliche Gegenfrage ins Leere geht. "Wir haben doch das EU-US Data Privacy Framework." Ja. Das Gericht der Europäischen Union hat die Klage des französischen Abgeordneten Philippe Latombe gegen den Angemessenheitsbeschluss am 3. September 2025 abgewiesen (Rechtssache T-553/23), der Beschluss gilt. Das Rechtsmittel dagegen liegt seit dem 31. Oktober 2025 beim EuGH (C-703/25 P) und ist noch nicht entschieden. Die US-Grundlage des Ganzen ist eine Executive Order, also ein Verwaltungsakt, den eine neue Administration ändern kann.

Wir halten das für zwei verschiedene Dinge, die ständig verwechselt werden: Das DPF macht den Datentransfer rechtmäßig. Souverän macht es ihn nicht. Rechtmäßigkeit ist eine Aussage über Ihr Haftungsrisiko, Souveränität eine Aussage über Ihre Handlungsfähigkeit, wenn sich die Rechtslage dreht. Wer 2020 nach Schrems II hektisch umbauen musste, kennt den Unterschied aus der eigenen Projektplanung.

Ein Detail, das man den Anbietern zugutehalten muss: Microsoft hat sich in den European Digital Commitments vom 30. April 2025 verpflichtet, Anordnungen zur Einstellung des europäischen Cloud-Betriebs mit allen Rechtsmitteln anzufechten, und lässt seine europäischen Rechenzentren von einem Aufsichtsrat aus ausschließlich europäischen Staatsangehörigen nach europäischem Recht beaufsichtigen. Das ist mehr als früher. Es ist trotzdem eine Zusage des Verpflichteten, keine Immunität.

Ab jetzt gibt es dafür endlich Vokabular

Die EU-Kommission hat am 3. Juni 2026 den Cloud and AI Development Act vorgelegt. Er ist noch nicht in Kraft, aber sein Kern ist für jede Anbieterbewertung brauchbar: vier gestaffelte Souveränitätsstufen.

Stufe 1 verlangt Verarbeitung und Speicherung auf EU-Infrastruktur. Stufe 2 zusätzlich den Nachweis der Unabhängigkeit von Drittstaaten und Transparenz über die Software-Lieferkette. Stufe 3 verlangt Eigentum und Kontrolle in der EU, samt Anforderungen an die Staatsangehörigkeit des Personals. Stufe 4 zieht die Kontrolle über die gesamte Lieferkette durch — ohne jede Einflussmöglichkeit eines Drittstaats.

Die für Sie interessante Zahl ist nicht die höchste, sondern die niedrigste: Die Kommission rechnet damit, dass rund 70 Prozent der öffentlichen Aufträge auf Stufe 1 landen und etwa 20 Prozent auf Stufe 2 — beides erreichbar auch für US-Hyperscaler mit den passenden Kontrollen. Nur etwa ein Prozent der öffentlichen Dienste braucht nach Kommissionsschätzung die strengste Stufe 4. Das ist ehrlicher als der Ton der meisten Souveränitätsdebatten: Der überwiegende Teil der Arbeitslasten braucht keine Maximalstufe. Wenn schon der öffentliche Sektor so rechnet, sollten Sie das im Mittelstand erst recht tun.

Zum Größenverhältnis: Europäische Anbieter halten laut Synergy Research seit Jahren stabile rund 15 Prozent des europäischen Cloud-Marktes, die drei US-Hyperscaler zusammen rund 70 Prozent.

Acht Fragen, an denen Marketing zerbricht

Diese Liste geben wir IT-Leitern mit in Anbietergespräche. Sie funktioniert, weil vage Antworten hier sofort auffallen.

1. In welchem Land ist die Vertragspartei registriert, und wer hält die Mehrheit? Nicht: wo steht der Server.
2. Kann Ihre US-Muttergesellschaft Ihnen Weisungen erteilen? Bei einem europäischen Joint Venture wie Delos Cloud lautet die Antwort anders als bei einer GmbH im Konzernverbund.
3. Wer hält die Schlüssel, und können Sie ohne mich entschlüsseln? Hold-your-own-key mit einem HSM in Ihrer Hand ist eine andere Antwort als "kundenverwaltete Schlüssel im Schlüsseltresor des Anbieters".
4. Wer hat administrativen Zugriff auf die Hypervisoren, und welche Staatsangehörigkeit hat der Support um drei Uhr nachts? Follow-the-sun-Support ist ein Souveränitätsloch, das kein Vertrag schließt.
5. Welches konkrete Modell läuft, in welcher Version, und wie lange garantieren Sie es? Antwort "das beste verfügbare" heißt: Sie haben keine Kontrolle über Reproduzierbarkeit.
6. Werden meine Ein- und Ausgaben zum Training oder zur Missbrauchserkennung gespeichert — und wo? Die Missbrauchserkennung ist der Ausnahmetatbestand, über den Prompts trotz EU-Region abfließen.
7. Bekomme ich meine Vektordatenbank und meine Einbettungen im Rohformat heraus? Wenn nein, ist Ihr Wechsel eine Neuindexierung.
8. Was passiert am Tag nach der Kündigung? Löschfristen, Exportformat, Restlaufzeit von Backups.

Antworten wie "wir sind DSGVO-konform" oder "wir haben ein ISO-Zertifikat" beantworten keine dieser Fragen. Sie sind auch keine Lüge — sie sind eine Antwort auf eine andere Frage.

Unsere Gewichtung, weil acht gleichrangige Fragen niemandem helfen: Frage 3 und Frage 6 sind die Ausschlusskriterien. Wer die Schlüssel nicht wirklich abgeben kann und wer nicht schriftlich benennt, wo Ihre Prompts zur Missbrauchserkennung landen, fällt raus — unabhängig davon, wie gut die anderen sechs Antworten klingen. Die Fragen 1, 2 und 4 bestimmen, ob Sie überhaupt über Betriebssouveränität reden. Die Fragen 5, 7 und 8 sind Preisverhandlung, keine Souveränitätsfrage; die können Sie später klären, ohne den Anbieter zu wechseln.

Die drei Stufen, offen gerechnet

Jetzt zum unbequemen Teil. Souveränität ist nicht kostenlos, und wer das behauptet, verkauft Ihnen etwas.

Stufe A — Public Cloud mit EU-Region. Billigste und bequemste Variante. Sie bekommen aktuelle Spitzenmodelle, Skalierung auf Zuruf, ausgereifte Werkzeuge. Sie bekommen Datenresidenz. Sie bekommen keine Betriebssouveränität, wenn der Betreiber US-kontrolliert ist. Für einen Chatassistenten, der Marketingtexte entwirft, ist das der richtige Kompromiss.

Stufe B — Sovereign Cloud eines EU-Betreibers. Der Aufpreis für die souveränen Angebote der Hyperscaler liegt laut einer BCG-Analyse von 2025 bei 10 bis 30 Prozent gegenüber der Standard-Cloud — Isolierung, Compliance-Kontrollen und regionales Personal kosten. Bei echten europäischen Anbietern sieht die Rechnung anders aus, weil sie ausschließlich offene Modelle betreiben und die entsprechend günstiger sind. IONOS ruft im AI Model Hub für Mistral Small 24B 0,10 Euro je Million Eingabe- und 0,30 Euro je Million Ausgabe-Token auf, für Llama 3.3 70B jeweils 0,65 Euro. STACKIT aus der Schwarz-Gruppe liegt für die meisten Modelle bei 0,45 Euro Eingabe und 0,65 Euro Ausgabe je Million Token (beide Stand August 2026, Listenpreise ohne Rabatte).

Wenn Sie uns zwingen, einen zu nennen: Für reine Textarbeit im Mittelstand ist IONOS mit Mistral Small 24B der bessere Startpunkt — er ist um den Faktor vier bis sechs billiger als alles andere hier, und für Zusammenfassungen, Entwürfe und RAG-Antworten reicht ein 24B-Modell fast immer. STACKIT nehmen Sie, wenn Sie eine breitere Modellauswahl unter einem Vertrag brauchen oder ohnehin in der Schwarz-Gruppen-Welt arbeiten. Der eigentliche Preis dieser Stufe ist ohnehin nicht Geld, sondern Modellauswahl: Sie bekommen offene Gewichte, nicht das jeweils stärkste Frontier-Modell.

Stufe C — eigene Hardware. Maximale Souveränität, maximaler Betriebsaufwand. Was das konkret bedeutet, steht im Praxisleitfaden zu KI ohne Cloud; die Bauformen erklärt der Grundlagenartikel zum KI-Server.

Rechnen wir Stufe B gegen Stufe C. Die Annahmen legen wir offen, damit Sie sie austauschen können: 50 Mitarbeiter, 20 Anfragen pro Arbeitstag, 220 Arbeitstage — 220.000 Anfragen im Jahr. Mit RAG-Kontext von 8.000 Eingabe-Token und 500 Ausgabe-Token pro Anfrage sind das 1,76 Milliarden Eingabe- und 110 Millionen Ausgabe-Token.

Zu STACKIT-Listenpreisen: 1.760 × 0,45 Euro plus 110 × 0,65 Euro, also rund 864 Euro im Jahr.

Dagegen eigene Hardware, mit ebenfalls offengelegten Annahmen: eine Maschine für 6.000 Euro über drei Jahre abgeschrieben sind 2.000 Euro jährlich. Strom bei angenommenen 250 Watt Dauerlast im 24/7-Betrieb sind 2.190 kWh; zum BDEW-Gewerbestrompreis von 27,15 ct/kWh für 10.000 kWh Jahresverbrauch (Stand Februar 2026) also rund 595 Euro. Macht 2.595 Euro — schon ohne einen einzigen Arbeitsschritt. Rechnen Sie vier bis acht Stunden Administration im Monat zu internen Vollkosten von 80 Euro dazu, landen Sie bei 6.400 bis 10.300 Euro im Jahr.

Eine Einschränkung, die wir nicht unterschlagen: Auf der Cloud-Seite stehen nur die Token-Kosten. Anwendung, RAG-Pipeline und Betrieb der Schnittstelle fallen in beiden Varianten an und sind in beiden Zahlen nicht enthalten. Verglichen werden hier ausschließlich Inferenz und Maschine — der Faktor gilt für diesen Ausschnitt, nicht für das Gesamtprojekt.

Für diesen Ausschnitt ist es Faktor sieben bis zwölf, und er fällt eindeutig gegen die eigene Maschine aus. Wer eigene Hardware mit Kostenersparnis begründet, rechnet bei Bürolasten falsch. Die Rechnung kippt erst bei dauerhaft hoher Auslastung — Massen-OCR, Batch-Verarbeitung über Nacht, viele parallele Nutzer. Welche Maschine dann sinnvoll ist, steht im Hardware-Guide für eigene KI-Server; die vollständige Gegenüberstellung inklusive Latenz und Verfügbarkeit im Vergleich Self-Hosted gegen Cloud, die laufenden Posten im Detail unter KI-Server: die laufende Rechnung. Eigene Zahlen können Sie im KI-Kosten-Kalkulator durchspielen.

Offene Gewichte sind der Teil, den fast alle übersehen

Ein Blick in die Deprecation-Liste von OpenAI genügt: gpt-4.5-preview war am 14. Juli 2025 abgeschaltet, die Assistants API wird zum 26. August 2026 abgeschaltet, die o3-Snapshots laufen zum 11. Dezember 2026 aus. Jedes Mal mit rund einem Jahr Vorlauf und Migrationspfad, alles korrekt angekündigt. Und jedes Mal bedeutet es für jeden, der darauf aufgebaut hat: umbauen, neu testen, Prompt-Verhalten neu validieren. Ein Jahr Vorlauf klingt großzügig, bis man ihn gegen die Release-Planung hält, in der schon alles verplant ist.

Genau hier liegt technologische Souveränität. Wer die Modellgewichte selbst hat, entscheidet selbst, wann er migriert. Ein Modell, das Sie heruntergeladen haben, läuft in fünf Jahren noch — vorausgesetzt, Sie haben Hardware und Laufzeitumgebung dafür. Ein API-Modell läuft, solange der Anbieter will.

Zwei Fallstricke dabei. Erstens ist "offen" nicht gleich "offen": gpt-oss-120b und Mistral Small 24B stehen unter Apache 2.0, die Llama-Modelle unter einer eigenen Community-Lizenz mit Nutzungsbeschränkungen. Lesen Sie die Lizenz, bevor Sie ein Produkt darauf bauen. Zweitens nützen offene Gewichte nichts, wenn Ihre Anwendung fest an einen proprietären Endpunkt gebunden ist. Der Test ist banal und dauert zehn Minuten:

# Portabilitätstest: derselbe Client, anderer Anbieter — nur die Basis-URL wechselt
export OPENAI_BASE_URL="https://<anbieter-endpunkt>/v1"
export OPENAI_API_KEY="<token>"

# Läuft die Anwendung danach unverändert weiter?
curl -s "$OPENAI_BASE_URL/models" -H "Authorization: Bearer $OPENAI_API_KEY"

Wenn Ihre Anwendung diesen Wechsel nicht überlebt, ist die Diskussion über Rechenzentrumsstandorte verfrüht.

Wann Souveränität den Aufwand nicht wert ist

Ein Blog, der jedem zu On-Premise rät, ist ein Verkaufsprospekt. Also klar: In den meisten Fällen brauchen Sie die höchste Stufe nicht.

Verzichten Sie auf den Aufwand, wenn keine personenbezogenen oder geschäftskritischen Daten durch das Modell laufen — Textentwürfe, Übersetzungen, Recherche in öffentlichen Quellen. Verzichten Sie darauf, wenn Sie noch in der Erkundungsphase sind und die Anwendungsfälle erst suchen; Souveränitätsarchitektur um einen Prototyp zu bauen, der in vier Monaten eingestellt wird, ist verbranntes Budget. Und verzichten Sie darauf, wenn Sie keine IT-Kapazität haben, die einen Linux-Server mit GPU-Treibern über Jahre pflegt. Eine schlecht gepflegte souveräne Maschine ist unsicherer als eine gut gepflegte fremde.

Umgekehrt wird es zwingend bei Berufsgeheimnisträgern, bei Konstruktions- und Kalkulationsdaten, die den Kern Ihres Wettbewerbsvorteils ausmachen, bei KRITIS-Betreibern und überall dort, wo ein Kunde Ihnen die Souveränität vertraglich vorgibt. In der Produktion sehen wir zunehmend genau das: Der Automobilhersteller schreibt dem Zulieferer vor, wo dessen Daten verarbeitet werden.

Der pragmatische Mittelweg ist fast immer der richtige, und wir empfehlen ihn ausdrücklich: Klassifizieren Sie Ihre Anwendungsfälle einmal sauber nach Schutzbedarf und legen Sie zwei Pfade an. Alles Unkritische über eine EU-Region eines beliebigen Anbieters. Alles Kritische über einen europäischen Betreiber mit offenen Gewichten. Eigene Hardware nur dort, wo Last oder Recht es erzwingen. Das ist billiger als eine Einheitslösung und ehrlicher als beide Extreme.

Nebenbei: Seit heute, dem 2. August 2026, gelten die Transparenzpflichten der KI-Verordnung. Die Pflichten für Hochrisiko-Systeme nach Anhang III hat der Digital Omnibus (Verordnung (EU) 2026/1744, in Kraft seit 27. Juli 2026) auf den 2. Dezember 2027 verschoben. Wer jetzt seine Anwendungsfälle klassifiziert, erledigt beide Aufgaben in einem Durchgang.

FAQ

Was bedeutet souveräne KI konkret?

Souveräne KI bezeichnet den Betrieb von KI-Systemen unter eigener rechtlicher und technischer Kontrolle. Der Begriff umfasst drei Ebenen: Datenresidenz (Speicher- und Verarbeitungsort), Betriebssouveränität (wer zugreifen kann und welchem Recht der Betreiber unterliegt) und technologische Souveränität (Wechselfähigkeit ohne Neuentwicklung). Ein EU-Rechenzentrum erfüllt nur die erste Ebene.

Reicht ein deutsches Rechenzentrum, um dem US CLOUD Act zu entgehen?

Nein. Der CLOUD Act von 2018 verpflichtet US-Unternehmen zur Herausgabe von Daten, die sie kontrollieren, unabhängig vom Speicherort. Ein Vertreter von Microsoft France sagte im Juni 2025 vor dem französischen Senat unter Eid aus, er könne nicht garantieren, dass Daten aus französischen Rechenzentren nicht an US-Behörden gehen. Entscheidend ist die Konzernzugehörigkeit des Betreibers, nicht der Standort der Hardware.

Was kostet souveräne KI im Vergleich zur normalen Cloud?

Souveräne Angebote der großen Cloud-Anbieter liegen je nach Analyse 10 bis 30 Prozent über der Standard-Cloud. Europäische Betreiber sind oft günstiger, weil sie offene Modelle einsetzen: STACKIT verlangt für die meisten Modelle 0,45 Euro je Million Eingabe- und 0,65 Euro je Million Ausgabe-Token, IONOS je nach Modell zwischen 0,10 und 0,65 Euro. Eigene Hardware kostet inklusive Administration meist ein Vielfaches davon.

Sovereign Cloud oder eigener Server — was ist besser?

Für die meisten mittelständischen Lastprofile ist die souveräne Cloud eines EU-Betreibers die bessere Wahl: Bei 220.000 Anfragen im Jahr mit RAG-Kontext liegt sie im niedrigen dreistelligen Bereich, eine eigene Maschine inklusive Administrationszeit im vier- bis fünfstelligen. Der eigene Server lohnt sich bei dauerhaft hoher Auslastung, bei Berufsgeheimnissen oder wenn Latenz in einem Produktionsprozess zählt.

Warum sind offene Modellgewichte ein Souveränitätsfaktor?

Weil nur ein Modell, das Sie besitzen, auch in fünf Jahren noch läuft. Anbieter schalten Modelle planmäßig ab — OpenAI nimmt etwa die Assistants API zum 26. August 2026 vom Netz. Bei offenen Gewichten entscheiden Sie selbst über den Migrationszeitpunkt. Achten Sie dabei auf die Lizenz: Apache 2.0 erlaubt praktisch alles, die Llama-Community-Lizenz enthält Nutzungsbeschränkungen.

Der nächste Schritt

Fangen Sie nicht bei der Technik an, sondern bei einer Liste. Schreiben Sie Ihre fünf bis zehn geplanten KI-Anwendungsfälle auf und ordnen Sie jedem einen Schutzbedarf zu — unkritisch, vertraulich, geheim. Danach ist die Anbieterfrage in zwei Sitzungen entschieden, statt in zwei Quartalen. Wenn Sie diese Klassifizierung gegenrechnen lassen wollen, sprechen Sie uns an.