21consult, zur Startseite Anfrage schreiben

Lokale KI oder Cloud: wann lohnt sich was?

Ratgeber von Christopher Klan, 21consult in Buxtehude · Stand 

Ob die KI im eigenen Haus läuft oder bei einem Anbieter in der Cloud, hängt an wenigen Fragen: welche Daten du verarbeitest, wie viele Leute mitmachen, was es über die Jahre kostet und wer sich um den Betrieb kümmert.

Kurz gesagt: Lokal lohnt sich, wenn sensible Daten im Spiel sind, viele Leute regelmäßig damit arbeiten und jemand den Betrieb übernimmt. Die Cloud lohnt sich, wenn wenige Leute ab und zu KI brauchen, die Daten unkritisch sind oder du die stärksten Modelle brauchst. Oft ist eine Mischung der beste Weg.

Worauf es bei der Entscheidung ankommt

Sechs Punkte. Die ersten beiden geben oft den Ausschlag.

Daten

Je sensibler die Daten, desto mehr spricht für lokal. Personalakten, Gesundheitsdaten, Verträge oder Konstruktionspläne möchten viele Betriebe nicht bei einem fremden Anbieter sehen. Bei allgemeinen Texten ohne Personenbezug ist die Cloud weniger heikel.

Nutzerzahl

Ein Gerät im Haus kostet einmal viel und danach vor allem Strom und Betreuung. Cloud Dienste kosten pro Nutzer oder pro Nutzung. Arbeiten nur zwei oder drei Leute ab und zu mit KI, ist die Cloud meist günstiger. Arbeiten viele täglich damit, kann sich das Gerät rechnen.

Kosten über die Zeit

Rechne nicht nur den Kaufpreis gegen ein Monatsabo. Beim Gerät kommen Einrichtung, Strom und Betreuung dazu, bei der Cloud steigen die Kosten mit jedem Nutzer und jeder Anfrage. Ein fairer Vergleich schaut auf mehrere Jahre, nicht auf den ersten Monat.

Modellqualität

Die stärksten Modelle laufen meist nur in der Cloud oder auf großen Servern, nicht auf einem Tischrechner. Modelle mit offenen Gewichten, die lokal laufen, sind für viele Aufgaben im Betrieb gut genug, zum Beispiel für Entwürfe, Zusammenfassungen und Fragen an eigene Dokumente. Ob sie für deine Aufgaben reichen, lässt sich an echten Beispielen testen.

Betrieb

Ein Gerät im Haus braucht Pflege: Updates, Sicherung, neue Modelle, Hilfe bei Störungen. In der Cloud macht das der Anbieter. Wenn niemand den Betrieb übernimmt, ist lokal die falsche Wahl.

Abhängigkeit

In der Cloud bestimmt der Anbieter Preise, Modelle und Bedingungen und kann sie ändern. Lokal entscheidest du selbst, wann du wechselst. Dafür hängst du an der Hardware und an den Updates des Herstellers.

Lokal und Cloud im Vergleich

Lokale KI und Cloud KI nach den sechs Punkten
PunktLokale KICloud KI
Datenan keinen externen KI Anbietergehen zum Anbieter
Nutzerlohnt bei vielenlohnt bei wenigen
Kosteneinmal Kauf, dann Strom und Betreuunglaufend je Nutzer oder Nutzung
ModelleModelle mit offenen Gewichtenauch die stärksten Modelle
Betriebdu oder ein Dienstleisterder Anbieter
Bindungan Hardware und Herstelleran den Anbieter

Entscheidungshilfe

Trifft das meiste in einem Block auf dich zu, hast du deine Richtung.

Lokal passt, wenn …

  • sensible Daten im Spiel sind, die nicht zu einem externen KI Anbieter sollen
  • viele Leute regelmäßig damit arbeiten
  • deine Aufgaben mit lokal laufenden Modellen gut lösbar sind
  • jemand den Betrieb übernimmt: du, dein Team oder ich

Cloud passt, wenn …

  • nur wenige Leute ab und zu KI nutzen
  • die Daten unkritisch sind oder ein passender Vertrag vorliegt
  • du die stärksten Modelle brauchst
  • sich niemand um ein Gerät kümmern soll

Beides gemischt, wenn …

  • sensible Unterlagen nicht zu einem externen Anbieter sollen, allgemeine Aufgaben aber in die Cloud dürfen
  • du lokal anfangen und für besondere Aufgaben ein Modell aus der Cloud dazunehmen willst

DSGVO bei beiden Wegen

Weder lokal noch Cloud ist von sich aus DSGVO konform. Es kommt darauf an, wie du es einrichtest und regelst.

Cloud KI

  • Auftragsverarbeitung: ein Vertrag mit dem Anbieter, der die Verarbeitung deiner Daten regelt
  • Serverstandort und Zugriff: ob Daten außerhalb von EU und EWR verarbeitet oder von dort abgerufen werden, und auf welcher Grundlage, etwa einem Angemessenheitsbeschluss oder Standardvertragsklauseln
  • Training: ausschließen, dass der Anbieter mit deinen Daten seine Modelle trainiert, im Vertrag, nicht nur in den Einstellungen
  • Der Rest: Zweck und Rechtsgrundlage, Rechte, Löschfristen und Verarbeitungsverzeichnis wie bei jedem anderen Dienst

Lokale KI

Deine Daten gehen an keinen externen KI Anbieter, und eine Übermittlung in Länder außerhalb von EU und EWR entfällt. Der Rest bleibt:

  • Zweck und Rechtsgrundlage: wofür die KI Personendaten nutzt, wie die Betroffenen davon erfahren und wie Auskunft und Löschung funktionieren, auch im Suchindex der KI
  • Rechte und Rollen: wer welche Dokumente und Antworten sehen darf
  • Löschfristen: wann Eingaben, Antworten und Protokolle gelöscht werden
  • Protokolle: was festgehalten wird und wer es einsehen darf. Habt ihr einen Betriebsrat, redet er bei Protokollen über Mitarbeiter mit.
  • Verarbeitungsverzeichnis: Tätigkeiten mit der KI werden neu eingetragen oder bestehende ergänzt
  • Folgenabschätzung nach Artikel 35 DSGVO: nötig, wenn ein hohes Risiko besteht, etwa bei Gesundheitsdaten oder wenn die KI Menschen bewertet

Übernimmt ein Dienstleister Betrieb oder Fernwartung, ist er Auftragsverarbeiter. Dann braucht es auch bei lokaler KI einen Vertrag zur Auftragsverarbeitung. Wo die Sicherung liegt, legst du fest. Funktionen, die nach außen gehen, etwa eine Websuche oder Modelle aus der Cloud, bleiben aus, bis du sie freigibst.

Das hier ist keine Rechtsberatung. Ich setze die Technik um und bereite die technischen Angaben vor. Die Verantwortung liegt bei dir als Betrieb. Beraten lässt du dich von deinem Datenschutzbeauftragten, falls ihr einen habt, oder von einer Anwältin oder einem Anwalt.

Fragen zu lokaler KI, Cloud und DSGVO

Ist ChatGPT DSGVO konform?

Das lässt sich nicht pauschal sagen. Es kommt darauf an, welches Angebot du nutzt, welcher Vertrag dahintersteht und welche Daten du eingibst. Für den Einsatz im Betrieb brauchst du einen Vertrag zur Auftragsverarbeitung. Das Training mit deinen Daten schließt du im Vertrag aus, nicht nur in den Einstellungen, denn eine Einstellung ersetzt keinen Vertrag. Für private Konten gibt es nach meinem Stand keinen Vertrag zur Auftragsverarbeitung, für den Betrieb kommen deshalb nur die Angebote für Unternehmen in Frage. Prüfe den aktuellen Stand beim Anbieter. Das ist keine Rechtsberatung.

Welche KI ist DSGVO konform?

Keine KI ist von sich aus DSGVO konform. Entscheidend sind Vertrag, Einstellungen, Serverstandort, Zweck, Rechte und Löschfristen. Lokale KI sorgt dafür, dass die Daten an keinen externen KI Anbieter gehen, die übrigen Pflichten bleiben.

Ist lokale KI so gut wie ChatGPT?

Bei den schwierigsten Aufgaben sind die großen Modelle in der Cloud meist vorn. Für viele Aufgaben im Betrieb, etwa Entwürfe, Zusammenfassungen und Fragen an eigene Dokumente, reichen Modelle mit offenen Gewichten, die lokal laufen. Ob das für dich gilt, testen wir an echten Beispielen.

Kann man lokale KI und Cloud kombinieren?

Ja. Ein sinnvoller Weg kann sein: Sensible Unterlagen bearbeitet die KI auf dem Gerät im Haus, allgemeine Aufgaben laufen über einen Cloud Dienst mit passendem Vertrag. Wichtig sind klare Regeln, was wohin darf.

Was kostet lokale KI im Vergleich zur Cloud?

Lokal kaufst du einmal ein Gerät, dazu kommen Einrichtung, Strom und Betreuung. In der Cloud zahlst du laufend pro Nutzer oder Nutzung. Was günstiger ist, hängt von Nutzerzahl und Laufzeit ab. Den Marktstand der Geräte mit Datum findest du auf der Seite Pakete und Kosten.

Du willst es für deinen Betrieb wissen?

Schreib mir, welche Aufgaben die KI übernehmen soll und welche Daten dabei im Spiel sind. Im ersten Gespräch schauen wir, ob lokal, Cloud oder beides passt.

Ich antworte innerhalb von zwei Werktagen. Vor Ort bin ich vor allem in Buxtehude und im Landkreis Stade, außerdem in ganz Hamburg.