Lokale KI oder Cloud-KI: Kosten, Datenschutz und Aufwand im Vergleich

Was lokale KI und Cloud-KI unterscheidet

Bei Cloud-KI wie ChatGPT, Microsoft Copilot oder Google Gemini laufen die Sprachmodelle in den Rechenzentren des Anbieters. Jede Anfrage und jedes hochgeladene Dokument wird dorthin übertragen und dort verarbeitet.

Bei lokaler KI, auch On-Premise-KI genannt, läuft das Sprachmodell auf eigener Hardware im Haus, meist ein offenes Modell auf einem KI-Server. Anfragen und Dokumente bleiben im eigenen Netzwerk. Dazwischen liegt eine dritte Variante: KI, die ein deutscher Anbieter in deutschen Rechenzentren betreibt, ohne US-Cloud.

Kosten: Lizenzen pro Nutzer oder feste Monatsrate

Cloud-KI für Unternehmen wird meist pro Nutzer und Monat abgerechnet, die Kosten wachsen mit jedem Arbeitsplatz. Ein Rechenbeispiel mit einer angenommenen Lizenz von 30 Euro pro Nutzer und Monat: Bei 20 Nutzern sind das 600 Euro im Monat, bei 50 Nutzern 1.500 Euro.

Lokale KI kostet vor allem Hardware und Einrichtung, der Preis hängt nicht von der Zahl der Nutzer ab. Die Sinabox gibt es ab 365 Euro im Monat in der Standard-Variante und ab 565 Euro als 19-Zoll-Rack, jeweils zuzüglich Umsatzsteuer und bei 24 Monaten Mindestlaufzeit. Je mehr Mitarbeitende die KI nutzen, desto eher rechnet sich die feste Rate. Wie viele gleichzeitige Nutzer ein Gerät trägt, hängt von Modell und Nutzung ab und wird vorab dimensioniert.

Nicht in der Lizenz enthalten sind bei Cloud-KI die Kosten für Datenschutzprüfung, Verträge und Dokumentation. Für Berufsgeheimnisträger und Behörden kann dieser Aufwand erheblich sein.

Datenschutz und Vertraulichkeit

Bei Cloud-KI braucht es einen Vertrag zur Auftragsverarbeitung, eine Prüfung möglicher Drittlandtransfers und klare Regeln, ob Eingaben gespeichert oder zum Training verwendet werden. Bei US-Anbietern kommt der CLOUD Act hinzu, der US-Behörden Zugriff auf Daten auch in europäischen Rechenzentren ermöglichen kann. Für Kanzleien, Steuerberater und Ärzte gelten zusätzlich die Pflichten aus § 203 StGB.

Bei lokaler KI verlassen die Daten das Haus nicht. Es gibt keinen Drittlandtransfer, keinen externen Anbieter mit Zugriff auf Inhalte und keine Frage nach Trainingsdaten. Die Datenschutzdokumentation wird deutlich kürzer.

Leistung: Was lokale Modelle können

Die größten Cloud-Modelle sind bei allgemeinem Wissen, sehr langen Texten und kreativen Aufgaben den offenen Modellen oft noch voraus. Für die typischen Aufgaben im Büro reicht ein lokales Modell aber meist aus: Dokumente zusammenfassen, Fragen zu Akten beantworten, Verträge vergleichen, Entwürfe schreiben.

Entscheidend ist dabei weniger das Modell als die Anbindung an die eigenen Dokumente. Ein lokales System, das die Akten der Organisation durchsucht und jede Antwort mit der Quelle belegt, ist für diese Arbeit oft nützlicher als ein größeres Modell ohne Zugriff auf die Unterlagen.

Aufwand für Betrieb und IT

Cloud-KI ist schnell startklar: Konto anlegen, Nutzer einladen. Um Updates und Rechenleistung kümmert sich der Anbieter.

Eine selbst gebaute lokale KI verlangt dagegen Know-how: passende Hardware, Einrichtung von Modell und Dokumentensuche, Rechteverwaltung, Updates. Eine vorkonfigurierte Appliance nimmt diesen Aufwand weitgehend ab. Die Sinabox wird eingerichtet geliefert und ist typischerweise in etwa einer Woche produktiv.

Wann welcher Weg passt

• Cloud-KI passt, wenn keine vertraulichen Daten verarbeitet werden, zum Beispiel für allgemeine Recherche oder Marketingtexte.
• Lokale KI passt, wenn Daten das Haus rechtlich oder vertraglich nicht verlassen dürfen: Mandantenakten, Patientendaten, Ermittlungsakten, Geschäftsgeheimnisse.
• KI in deutschen Rechenzentren passt, wenn keine eigene Hardware betrieben werden soll, eine Verarbeitung in Deutschland aber ausreicht.

Viele Organisationen kombinieren beides: Cloud-KI für unkritische Aufgaben, lokale KI für alles, was vertraulich ist. Wichtig ist eine klare Regel, welche Daten in welches System dürfen.