llm-d und Souveränität: verteilte Inferenz auf Schweizer Infrastruktur
llm-d ist ein quelloffenes, Kubernetes-natives Framework für verteilte LLM-Inferenz. Für die Souveränität zählt das: du kannst grosse Modelle über mehrere GPUs in der Schweiz ausliefern, mit voller Einsicht in den Code, der jeden Prompt und jede Antwort verarbeitet.
Wer für die Inferenz die API von OpenAI, Azure OpenAI oder AWS Bedrock nutzt, schickt jeden Prompt und jede Modellausgabe durch US-Infrastruktur, die US-Recht untersteht und über den CLOUD Act ohne Schweizer Gerichtsverfahren zugänglich ist. Prompts und Antworten bleiben nur dann ausserhalb fremder Zuständigkeit, wenn der Inferenz-Stack selbst auf Schweizer Boden läuft.
Souveränität ist mehr als die Frage, wo die GPUs stehen: das EU Cloud Sovereignty Framework beschreibt acht Dimensionen, die zusammen entscheiden, ob ein Anbieter tatsächlich souverän ist.
Warum llm-d für souveräne Inferenz eine gute Wahl ist
Anders als die proprietären Inferenz-APIs von OpenAI, Google oder Amazon bietet dir llm-d:
- Keine Anbieterbindung: jedes kompatible Modell mit offenen Gewichten ausliefern (Llama, Mistral, Qwen und weitere)
- Vollständige Prüfbarkeit des Codes: jede Komponente von llm-d ist auf GitHub einsehbar
- Kein Abfluss von Daten: Prompts und Antworten bleiben auf deiner Infrastruktur, ohne Ausnahme
- Kubernetes-native Skalierung: Inferenz über GPU-Knoten verteilen, ohne proprietäre Orchestrierung
- Freie Wahl der Hardware: auf den Beschleunigern laufen, die du wählst, ohne die Zustimmung eines API-Anbieters
VSHN rollt llm-d auf Schweizer Kubernetes-Clustern mit GPU-Scheduling aus und betreibt es. Zusammen mit Schweizer Eigentümerschaft und Schweizer Betrieb ergibt das eine durchgängig souveräne Inferenzplattform.
Souveränität im Vergleich
| Dimension | OpenAI API | Azure OpenAI | Inferenz auf AWS Bedrock | VSHN Managed llm-d |
|---|---|---|---|---|
| Eigentümer | OpenAI (USA) | Microsoft (USA) | Amazon (USA) | VSHN AG (Schweiz) |
| Anwendbares Recht | US-Recht | US-Recht | US-Recht | Schweizer Recht |
| CLOUD Act | Betroffen | Betroffen | Betroffen | Nicht betroffen |
| Datenstandort | USA | regional, unter US-Kontrolle | regional, unter US-Kontrolle | Schweiz (Cloudscale, Exoscale oder nach deiner Wahl) |
| Inferenz-Stack | proprietär | proprietär | proprietär | quelloffen (llm-d, Kubernetes) |
| Zugriff auf Prompt-Daten | Anbieter hat Zugriff, Nutzung fürs Training möglich | Microsoft hat Zugriff | Amazon hat Zugriff | VSHN hat betrieblichen Zugriff nur für autorisierten Support, nie fürs Modelltraining |
| Betriebsteam | USA | USA | USA | Schweiz (Option Schweiz-only) |
| Zertifizierungen | SOC 2 | SOC 2, ISO 27001 | SOC 2, ISO 27001 | ISO 27001, ISAE 3402 Type II |
Souveränitäts-Selbstbewertung von VSHN
Wir haben das Cloud Sovereignty Framework der EU (v1.2.1, Oktober 2025) auf unsere eigenen Dienste angewendet. Nach diesem Rahmenwerk wurden im April 2026 die Anbieter in der EU-Ausschreibung für souveräne Cloud über EUR 180 Mio. bewertet. Drei rein europäische Anbieter erreichten SEAL-3, ein Konsortium unter Beteiligung von Google Cloud kam auf SEAL-2.
Das ist eine Selbstbewertung und keine formelle SEAL-Zertifizierung. Wir veröffentlichen sie, damit Kunden unser Souveränitätsprofil anhand derselben strukturierten Kriterien beurteilen können, die auch die EU anlegt.
| # | Dimension | Gewicht | Bewertung | Belege |
|---|---|---|---|---|
| SOV-1 | Strategisch | 15% | Stark | Schweizer AG, keine ausländische Muttergesellschaft, alle Aktionäre Schweizer Staatsangehörige (Handelsregister) |
| SOV-2 | Rechtlich | 10% | Stark | Schweizer Recht (AGB), kein CLOUD Act, Angemessenheitsbeschluss der EU |
| SOV-3 | Daten und KI | 10% | Stark | Schweizer Rechenzentren als Standard. Souveräne Schlüsselverwaltung über Managed OpenBao und Schweizer HSM |
| SOV-4 | Betrieblich | 15% | Stark | Betrieb rund um die Uhr aus der Schweiz, Option Schweiz-only. Alle Dienste auf unverändertem Kubernetes |
| SOV-5 | Lieferkette | 20% | Stark | Infrastrukturunabhängig, der Kunde wählt den Anbieter. Quelloffene Software |
| SOV-6 | Technologie | 15% | Stark | 100 Prozent quelloffen. VSHN trägt zu K8up (CNCF), Crossplane-Providern und Project Syn bei |
| SOV-7 | Sicherheit | 10% | Stark | ISO 27001, ISAE 3402 Type II, Schweizer SOC. FINMA-regulierte Kunden |
| SOV-8 | Umwelt | 5% | Mittel | Rechenzentrumsbetreiber: Green Datacenter AG (ISO 22301/27001/27701), Nachhaltigkeit bei Exoscale. CSR-Politik von VSHN |
Gesamt: entspricht SEAL-3, derselben Stufe wie die Gewinner der EU-Ausschreibung. SEAL-4 hat weltweit kein Anbieter erreicht: dafür brauchte es Hardware-Lieferketten und quelloffene Grundlagen vollständig aus der EU oder dem EWR, und diese strukturelle Lücke teilen alle Cloud-Anbieter.
Schweizer Infrastruktur ausprobieren: APPUiO (verwaltetes Kubernetes, kostenlos testen), Exoscale (Schweizer IaaS). Unsicher, was passt? Melde dich.
Souveränitätsbewertung für dein Inferenz-Setup
Läuft deine Inferenz über APIs in den USA, oder prüfst du souveräne Alternativen? Wir bewerten dein aktuelles Setup nach dem EU-Rahmenwerk und entwerfen eine llm-d-Installation, die Prompts und Modellausgaben unter Schweizer Zuständigkeit hält.