Lokale KI: Was bleibt wirklich im Unternehmen?

„Das läuft alles lokal.“ Ein guter Satz. Vorausgesetzt, man weiß, was mit „alles“ gemeint ist.

Das Modell kann auf dem eigenen Rechner laufen. Die Oberfläche ebenfalls. Wenn der Agent zur Beantwortung einer Frage aber einen externen Suchdienst aufruft oder Unterlagen an ein Cloud-Modell weitergibt, verlassen dabei trotzdem Daten das Unternehmen.

Lokale KI ist deshalb eine Frage des gesamten Aufbaus: Modell, Wissensspeicher, Dokumentverarbeitung und angebundene Werkzeuge. Ein anschauliches Beispiel liefert Ollama: Die Dokumentation unterscheidet ausdrücklich zwischen lokalen Modellen und Cloud-Modellen; Cloud-Funktionen lassen sich abschalten. Zur Ollama-Dokumentation.

Was für einen lokalen Aufbau spricht

Bei einer vollständig lokalen Verarbeitung müssen die Inhalte einer Anfrage nicht zur Modellberechnung an einen externen Anbieter geschickt werden. Das kann für interne Unterlagen interessant sein. Ein passend aufgebauter Assistent lässt sich außerdem an die eigene Arbeitsweise anpassen: Welche Ordner sind zugelassen? Welche Quellen haben Vorrang? Wer darf welche Antworten sehen?

Auch die Abhängigkeit von einzelnen Cloud-Diensten kann kleiner werden. Ganz ohne Abhängigkeiten arbeitet aber kein System. Hardware, Betriebssystem, Modelllizenzen und Wartung gehören weiterhin dazu. Und wer einen externen Shop oder Kalender anbinden möchte, nutzt dessen Schnittstelle mit den dazugehörigen Bedingungen.

Lokal ist eine bewusste Entscheidung darüber, wo gerechnet wird und welche Verbindungen erlaubt sind.

Die Rechnung besteht aus mehr als Modellkosten

Eigene Hardware kostet Geld. Einrichtung, Aktualisierungen und die Pflege des Wissens ebenfalls. Ob sich der Betrieb lohnt, hängt deshalb davon ab, welche Aufgaben wie häufig anfallen und welche Qualität benötigt wird.

Auch „lokal ist langsamer“ wäre zu pauschal. Ein kleines Modell auf passender Hardware kann für eine eng umrissene Aufgabe schnell genug sein. Umfangreiche Dokumente oder anspruchsvolle Aufgaben können mehr Speicher, Rechenleistung und Zeit benötigen. Das sollte man mit typischen eigenen Aufgaben prüfen, statt allein auf Modellnamen oder eine beeindruckende Demo zu schauen.

Für einen Test würden wir beispielsweise zehn wiederkehrende Fragen aus dem Arbeitsalltag auswählen. Neben der Antwortqualität messen wir die Wartezeit und die nötige Nacharbeit. Erst dann lässt sich sinnvoll entscheiden, welche Ausstattung passt.

Und wenn das lokale Modell nicht weiterkommt?

Eine mögliche Architektur ergänzt den lokalen Betrieb um ein externes Modell. Das ist eine zusätzliche Option, die eingerichtet werden muss. Sie sollte weder still im Hintergrund anspringen noch sämtliche vorhandenen Unterlagen übertragen.

Eine verständliche Freigabe könnte lauten: „Für diese Aufgabe soll ein externer Dienst den folgenden Text prüfen. Diese Abschnitte werden übertragen. Möchten Sie das erlauben?“ Ohne Zustimmung bleibt die Anfrage lokal oder wird an einen Menschen übergeben.

Wichtig ist auch: Ein selbstbewusst formulierter Agent weiß nicht zuverlässig, ob seine Antwort richtig ist. Kriterien wie fehlende Quellen, widersprüchliche Dokumente oder gescheiterte Prüfungen eignen sich besser als allein die Selbsteinschätzung des Modells.

Drei Entscheidungen vor dem Start

1. Welche Daten? Beginnen Sie mit einem klar abgegrenzten, freigegebenen Bestand.
2. Welche Aufgaben? Wählen Sie Einsätze, deren Ergebnisse jemand fachlich beurteilen kann.
3. Welche Verbindungen? Legen Sie für jeden externen Dienst fest, was übertragen werden darf und wann eine Freigabe nötig ist.

Bei SCHRAEGER betrachten wir lokale KI als Werkzeug, das zu einem Unternehmen passen muss. Eine lokale Installation allein löst noch keine Aufgabe. Ein klarer Einsatzzweck und eine sauber eingerichtete Umgebung können daraus etwas sehr Nützliches machen.

Wie Unternehmenswissen für einen Agenten nutzbar wird.