Lokale KI für Unternehmen: die KI läuft bei dir im Haus
Ich bin Christopher Klan aus Buxtehude. Ich stelle dir einen KI Rechner in den Betrieb, richte die Modelle ein und setze Zugriffsrechte, Protokolle und Löschfristen technisch um, nach deinen Vorgaben. Die KI rechnet bei dir und nicht bei einem Anbieter im Internet.
Lokale KI
- Arbeitsplatz
- KI Rechner in deinem Haus
Cloud KI
- Arbeitsplatz
- Internet, außerhalb deines Betriebs
- Server des Anbieters, außerhalb deines Betriebs
Was lokale KI ist
Bei lokaler KI laufen die Sprachmodelle auf einem Rechner in deinem Betrieb, nicht auf den Servern eines Anbieters im Internet. Man nennt das auch On Premise KI oder KI auf eigenem Server.
Dein Team arbeitet im Browser mit einer Oberfläche, die sich anfühlt wie ChatGPT. Fragen, Antworten und Dokumente gehen dabei an keinen externen KI Anbieter. Ein Beispiel für so ein Gerät ist der NVIDIA DGX Spark:
- ein kompakter Tischrechner, kein Serverschrank
- 128 GB gemeinsamer Speicher
- die Software von NVIDIA ist vorinstalliert
- laut NVIDIA für Modelle mit bis zu 200 Milliarden Parametern
Ein Tischrechner wie der DGX Spark reicht für einzelne Teams. Arbeiten viele Leute gleichzeitig, braucht es mehr Hardware. Welches Gerät zu deinem Betrieb passt, klären wir am Anfang.
Wofür Betriebe lokale KI nutzen
Fragen an die eigenen Unterlagen
Die KI liest eure Handbücher, Verträge, Angebote und Protokolle und beantwortet Fragen dazu, mit Angabe der Quelle, damit du jede Antwort prüfen kannst. Gerade solche Unterlagen sollen oft nicht zu einem fremden Anbieter.
Entwürfe
Angebote, Mails, Berichte oder Stellenanzeigen vorschreiben lassen. Du prüfst und gibst frei.
Auswertungen
Lange Texte zusammenfassen, Rückmeldungen sortieren, in Tabellen Auffälligkeiten finden.
Interne Assistenten
Ein Assistent für eine Aufgabe, zum Beispiel für neue Mitarbeiter oder für Fragen zu euren Abläufen.
Was ich für dich mache
Von der ersten Frage bis zum laufenden Betrieb. Du hast einen Ansprechpartner.
Bedarf klären
Wir sehen uns an, welche Aufgaben die KI übernehmen soll, wer damit arbeitet und welche Daten im Spiel sind. Danach ist klar, ob lokale KI passt oder ob es anders besser geht.
Gerät auswählen und aufstellen
Ich schlage ein Gerät vor, das zu Aufgaben und Nutzerzahl passt, und stelle es bei dir auf. Ins Netz binde ich es so ein, dass nur berechtigte Geräte es erreichen.
Modelle und Oberfläche einrichten
Ich wähle passende Modelle mit offenen Gewichten aus, teste sie an euren Aufgaben und richte eine Oberfläche im Browser ein. Soll die KI mit euren Dokumenten arbeiten, binde ich sie an. Funktionen, die nach außen gehen, etwa eine Websuche, bleiben aus, bis du sie freigibst.
Rechte, Protokolle und Löschfristen umsetzen
Wer darf welche Dokumente sehen, was wird protokolliert, wann wird was gelöscht: Das setze ich technisch um, nach den Vorgaben, die du als Betrieb festlegst.
Einweisung
Ich zeige deinem Team, wie es mit der KI arbeitet, was sie gut kann und wo sie Fehler macht.
Betrieb
Updates, neue Modelle, Sicherung und Hilfe bei Störungen. Auf Wunsch übernehme ich das laufend, vor Ort oder aus der Ferne. Dann bin ich Auftragsverarbeiter und wir schließen einen Vertrag zur Auftragsverarbeitung.
Lokal heißt nicht automatisch DSGVO konform
Lokale KI löst eine wichtige Frage: Deine Daten gehen an keinen externen KI Anbieter, und eine Übermittlung in Länder außerhalb von EU und EWR entfällt. Den Rest erledigt sie nicht von allein.
Auch eine KI im eigenen Haus verarbeitet personenbezogene Daten, sobald Namen, Kundendaten oder Personalakten im Spiel sind. Dann bleibt zu regeln:
- Zweck und Rechtsgrundlage: wofür die KI Personendaten nutzt, wie die Betroffenen davon erfahren und wie Auskunft und Löschung funktionieren, auch im Suchindex der KI
- Rechte und Rollen: wer welche Dokumente und Antworten sehen darf
- Löschfristen: wann Eingaben, Antworten und Protokolle gelöscht werden
- Protokolle: was festgehalten wird und wer es einsehen darf. Habt ihr einen Betriebsrat, redet er bei Protokollen über Mitarbeiter mit.
- Verarbeitungsverzeichnis: Tätigkeiten mit der KI werden neu eingetragen oder bestehende ergänzt
- Folgenabschätzung nach Artikel 35 DSGVO: nötig, wenn ein hohes Risiko besteht, etwa bei Gesundheitsdaten oder wenn die KI Menschen bewertet
Wenn ich mich um den Betrieb kümmere
Übernehme ich Betrieb oder Fernwartung, bin ich selbst Auftragsverarbeiter. Dann schließen wir einen Vertrag zur Auftragsverarbeitung. Wo die Sicherung liegt, legen wir gemeinsam fest. Funktionen, die nach außen gehen, etwa eine Websuche oder Modelle aus der Cloud, bleiben aus, bis du sie freigibst.
Ich setze das alles technisch um und bereite die technischen Angaben vor, die du dafür brauchst. Die Verantwortung liegt bei dir als Betrieb. Beraten lässt du dich von deinem Datenschutzbeauftragten, falls ihr einen habt, oder von einer Anwältin oder einem Anwalt. Rechtsberatung biete ich nicht an.
Wann sich lokale KI nicht lohnt
Ein eigener KI Rechner ist nicht immer die beste Lösung. Ich rate eher ab, wenn einer dieser Punkte auf dich zutrifft.
- Wenige Nutzer: Nur zwei oder drei Leute arbeiten ab und zu mit KI. Dann ist ein Cloud Dienst mit passendem Vertrag meist der einfachere Weg.
- Keine sensiblen Daten: Wenn nichts Vertrauliches verarbeitet wird, fällt der wichtigste Grund für lokal weg.
- Die stärksten Modelle: Die stärksten Modelle laufen meist nur in der Cloud oder auf großen Servern, nicht auf einem Tischrechner. Braucht ihr sie für eure Aufgaben, hilft ein Gerät im Haus nicht weiter.
- Niemand für den Betrieb: Ein Gerät im Haus braucht Updates, Sicherung und jemanden, der sich kümmert. Das kann ich sein, aber es muss geklärt sein.
Oft passt auch eine Mischung: sensible Unterlagen lokal, der Rest in der Cloud. Wie du das abwägst, steht im Ratgeber.
Fragen zu lokaler KI im Unternehmen
Was ist lokale KI?
Lokale KI heißt: Die Sprachmodelle laufen auf einem Rechner in deinem Betrieb statt auf den Servern eines Anbieters im Internet. Eingaben und Dokumente gehen an keinen externen KI Anbieter. Man nennt das auch On Premise KI oder KI auf eigenem Server.
Was kostet eine lokale KI?
Das hängt vor allem vom Gerät ab, dazu kommen Einrichtung, Einweisung und Betrieb. Den Marktstand der Geräte mit Datum und alles, was außer dem Gerät anfällt, findest du auf der Seite Pakete und Kosten. Deinen Preis nenne ich dir nach dem ersten Gespräch, bevor Kosten entstehen.
Welche Hardware braucht man für lokale KI?
Einen Rechner mit viel schnellem Speicher für die Modelle, zum Beispiel einen NVIDIA DGX Spark mit 128 GB gemeinsamem Speicher, eine Workstation mit starker Grafikkarte oder einen Server. Ein Tischrechner wie der DGX Spark reicht für einzelne Teams. Arbeiten viele Leute gleichzeitig, braucht es mehr Hardware.
Welche lokalen KI Modelle gibt es?
Es gibt viele Modelle mit offenen Gewichten, die sich lokal betreiben lassen, zum Beispiel aus den Familien Llama, Mistral, Gemma und Qwen. Sie unterscheiden sich in Größe, Sprachkenntnis und Lizenz. Manche Lizenzen schränken den Einsatz in der EU ein, das prüfen wir vor der Auswahl. Welches Modell für deine Aufgaben taugt, testen wir an echten Beispielen aus deinem Betrieb.
Kann ich lokale KI selbst installieren?
Zum Ausprobieren ja. Programme wie LM Studio bringen ein Modell auf einen einzelnen Rechner. Für den Einsatz im Betrieb kommt mehr dazu: Zugriff für mehrere Leute, Rechte, Protokolle, die Anbindung eurer Dokumente, Updates und Sicherung. Dabei helfe ich.
Ist lokale KI DSGVO konform?
Nicht automatisch. Lokal heißt: Die Daten gehen an keinen externen KI Anbieter, und eine Übermittlung in Länder außerhalb von EU und EWR entfällt. Zweck und Rechtsgrundlage, Rechte, Löschfristen, Protokolle und das Verarbeitungsverzeichnis müssen trotzdem geregelt sein. Ich setze das technisch um, die Verantwortung liegt bei dir als Betrieb.
Kann die KI mit unseren eigenen Dokumenten arbeiten?
Ja. Die KI kann eure Unterlagen durchsuchen und Fragen dazu beantworten, ohne dass die Dokumente an einen externen KI Anbieter gehen. Wer welche Dokumente sehen darf, legen wir vorher fest.
Kommst du dafür auch vor Ort?
Ja. Mein Sitz ist Buxtehude. Vor Ort bin ich vor allem in Buxtehude und im Landkreis Stade, außerdem in ganz Hamburg. Aufstellen und Einweisung mache ich am liebsten bei dir im Betrieb, die Betreuung danach oft aus der Ferne. Dafür schließen wir einen Vertrag zur Auftragsverarbeitung.
Lokale KI in Buxtehude, im Landkreis Stade und in Hamburg
Ich arbeite von Buxtehude aus und komme zu dir in den Betrieb. Erzähl mir in ein paar Sätzen, was die KI bei euch tun soll und wie viele Leute damit arbeiten.
Ich antworte innerhalb von zwei Werktagen. Nach dem ersten Gespräch bekommst du ein Angebot, bevor Kosten entstehen.