Lokale Inferenz unter deutschen Datenregeln einrichten.

Wenn Teams „lokales LLM“ sagen, meinen sie oft eine GPU-Box und eine Model Card. Unter deutschen Datenregeln ist die härtere Einrichtung die Kontrollgrenze: welche Objekte welche Inferenz-Umgebung betreten dürfen, wer sie aufrufen darf, ob Kundendaten trainieren, wie lange Prompts und Logs bleiben, und wer den Pfad freigibt.

Dieses Stück ist ein How-to für Open-Weight- oder lokale Inferenz — und deutsche Cloud-Inferenz, wo Sie sie brauchen — damit Residenz nicht mit fertiger Compliance verwechselt wird. Es sitzt neben Agenten auf Spectacle: Vorschläge warten auf menschliche Freigabe; Rechnen bleibt Code.

Vier Schichten, bevor ein Objekt die Zone kreuzt

Vier Schichten benennen, bevor Prompts, Embeddings oder Dokumente die Trust Zone verlassen. Das Open-Weight-Addendum sperrt denselben Schnitt: Lizenz · Residenz · Retention · Freigabe.

1. Lizenz — Was erlaubt die Open-Weight-Lizenz für kommerzielle Nutzung, Weitergabe und Fine-Tuning? Wem gehören die Weights, die Sie betreiben? Lizenzwahl ist ein Ops-Objekt, kein Nebensatz auf der Model Card.
2. Residenz — Wo liegen Weights, Prompts, Embeddings und Tool-Outputs: eigene Hardware, dedizierte Private Cloud oder ein DE/EU-Pfad wie STACKIT? Residenz ist notwendig und nicht hinreichend. Einmal sagen: Inferenz in Deutschland beendet rechtliche und betriebliche Pflichten nicht von allein.
3. Retention — Wie lange leben Prompts, Completions, Embeddings, Logs, Backups und Support-Spuren? Wer kann löschen? Versteckte Kopien in Vektor-Indexes und Backup-Tunneln zählen.
4. Freigabe — Welche Objektklassen dürfen welche Inferenz-Umgebung betreten? Wer gibt dieses Mapping frei? Betriebsweite Infra vs. mandats- oder aktenbezogene Pfade. Freigabe zeigt auf Objekte aus dem Betrieb und, bei sensiblen Pfaden, auf einen Aktengraph (Sensible Daten brauchen einen Aktengraph). Siehe ohne Freigabe schläft der Agent.

Das ist, wie Sie lokale Inferenz unter deutschen Datenregeln einrichten. Ein Model-Download allein ist nicht die Einrichtung.

Checkliste: Zugriff, No-Train, Löschung, Freigabe

Vor Produktionsverkehr:

• Zugriffskontrolle — Wer darf welchen Endpoint auf welcher Objektklasse aufrufen? Lesen vs. Vorschlagen vs. Handeln. Secrets und Netzpfade benannt, nicht angenommen.
• No-Train — Bestätigen, dass Kunden- und Akten-/Matter-Daten nicht zum Trainieren oder Verbessern des Provider- oder gemeinsamen Basismodells genutzt werden, es sei denn Counsel und Ops genehmigen einen getrennten Trainingspfad. Default: nur Inferenz.
• Löschung / Retention — TTL für Prompts, Embeddings, Logs, Backups dokumentieren. Testen, dass Löschen über Indexes und Support-Tunnel bedeutet.
• Freigabe der Objektklassen — Eine benannte Person gibt frei, welche Objekte lokale, Private-Cloud- oder deutsche-Cloud-Inferenz betreten dürfen. Agenten schlagen vor; Menschen geben frei.

Zusätzlich versteckten Egress inventarisieren: Prompts und System Messages, Embeddings und Vektorspeicher, Application Logs, Backups und Snapshots, Vendor-Support-Tunnel und Remote-Update-Kanäle. Telemetrie, die die Trust Zone verlässt, ist immer noch eine Entscheidung über die Inferenz-Umgebung.

Wo deutsche Cloud passt (ohne den Cousin neu zu schreiben)

Souveränes oder deutsches Hosting wie STACKIT kann ein Residenzpfad sein, wenn eigene Hardware nicht die richtige Grenze ist. Hosting ist nicht der Betrieb — Modelle auf STACKIT sind nicht der Betrieb. Nur zitieren; Cousin nicht neu schreiben. Dieses Stück ist das lokale / Open-Weight-How-to unter deutschen Datenregeln — Zugriff, No-Train, Löschung, Freigabe — kein Remake der STACKIT-These.

Benannte Sovereign-AI-SaaS-Pitches und GPU-Shopping-Guides erscheinen als SERP-Clutter. Den Typ nennen. Keine Marke als Antwort empfehlen. Nie „DSGVO-konform“ oder „§203-sicher“ für irgendeinen Stack erfinden. Residenz ist nicht Compliance.

Freigabe hält den Schalter

Agenten auf Spectacle dürfen Sprache und nächste Schritte vorschlagen, die auf Objekten sitzen, die der Stack schon hält. Ohne Freigabe schläft der Agent. In versiegelte Quellsysteme wird nicht zurückgeschrieben. Rechnen bleibt Code. Das Modell schreibt nur Sprache. Wir erfinden keine Stunden, kein ROI, keine Euros, keine Genauigkeitsbänder.

Was wir nicht verkaufen

Keine benannte Sovereign-AI-SaaS. Kein Deep-Tech-GPU-Shopping-Guide. Kein Remake der Live-Cousins STACKIT oder Aktengraph. Keine Gastro-Software und kein „KI für Hospitality“. Kein stilles Zurückschreiben. Keine Behauptung, irgendein Cloud- oder On-Prem-Stack sei per Marke „produktionssicher“ oder „DSGVO-fertig“.

Ein Kern, jede Betriebsart — ein Kern, jede Betriebsart. Sechs Bänder gleichrangig. White-Collar- und Ops-Pfade nutzen dasselbe Muster — Objekte, Zonen, Freigabe — kein Branchen-SKU.

FAQ

Was heißt „lokale Inferenz“ hier?
Open-Weight- oder selbst gehostete Modelle (und deutsche Cloud wo nötig) mit benannter Kontrollgrenze betreiben: Zugriff, No-Train, Retention/Löschung und Freigabe, welche Objekte wohin dürfen.

Reicht Residenz unter deutschen Datenregeln?
Nein. Einmal sagen: Residenz ist notwendig und nicht hinreichend. Sie brauchen weiter Zugriffskontrolle, Retention, Freigabe und Counsel zu den Rechtsgrundlagen Ihres Pfads. Wir erfinden keine Compliance-Labels für Stacks.

Darf STACKIT genannt werden?
Ja als Infra-Vokabular für eine deutsche Cloud-Option. Nein als Behauptung, Hosting allein beende die Einrichtung. Live-Cousin zitieren; nicht neu schreiben.

Schicken Agenten Objekte ohne Freigabe in die Inferenz?
Nein. Sie schlagen vor. Sie geben frei, welche Objektklassen welche Umgebung betreten dürfen. Ohne Freigabe schläft der Agent.

Erfinden Sie Genauigkeit oder ROI?
Nein. Rechnen ist Code. Wir erfinden keine Stunden, Euros oder Genauigkeitsbänder.

Nur für eine Branche?
Nein. Sechs Bänder gleich. Das Vier-Schichten-Setup — Lizenz, Residenz, Retention, Freigabe — wiederholt sich, wo Inferenz nahe an Betriebsobjekten sitzt.

Wo anfangen?
Spectacle. Die Insights-Serie ist, wie wir über den Betrieb schreiben.

CTA

Wenn Inferenz nahe an Betriebsobjekten sitzen soll und die vier Schichten noch unbenannt sind — Lizenz, Residenz, Retention, Freigabe — Erstanalyse anfragen. Zwanzig Minuten reichen, um zu sehen, ob Objektklassen auf menschliche Freigabe warten, bevor sie lokale oder deutsche-Cloud-Inferenz betreten. Wenn die Daten nicht antworten, sagen wir das.