Lokale KI in der Kanzlei

Was lokale KI bedeutet

Bei Cloud-Diensten wie ChatGPT oder Claude werden Eingaben an Server des Anbieters übertragen. Bei lokaler KI wird ein offen verfügbares Modell einmalig heruntergeladen und danach auf eigener Hardware ausgeführt. LM Studio beschreibt das mit dem Satz „Nothing you enter into LM Studio when chatting with LLMs leaves your device.“ Bei Ollama heißt es „Ollama runs locally. We don’t see your prompts or data when you run locally.“

Für Kanzleien ist das vor allem wegen der Verschwiegenheit interessant. Wo keine Daten an Dritte gehen, stellt sich die Frage nach einem externen Dienstleister für die eigentliche Verarbeitung nicht.

Ollama

Ollama ist eine Plattform zum Ausführen und Verwalten offener Sprachmodelle auf dem eigenen Rechner. Das GitHub-Repository nennt dazu Folgendes.

• Lizenz. MIT.
• Betriebssysteme. macOS, Windows, Linux sowie ein offizielles Docker-Image.
• Schnittstelle. Eine REST-API unter localhost:11434, über die andere Programme das Modell ansprechen können.
• Modelle. Genannt werden unter anderem Gemma, Qwen und DeepSeek.

Aus der FAQ von Ollama ergeben sich drei für Kanzleien wichtige Punkte. Erstens bindet sich Ollama standardmäßig an 127.0.0.1, ist also nur vom eigenen Rechner aus erreichbar. Über die Variable OLLAMA_HOST lässt es sich im Netzwerk freigeben, was gesichert werden muss. Zweitens beträgt das voreingestellte Kontextfenster 4.096 Token und lässt sich über OLLAMA_CONTEXT_LENGTH ändern – für lange Akten ist die Voreinstellung zu knapp. Drittens bietet Ollama auch Cloud-Modelle an. Dann werden Prompts nach Angaben von Ollama zur Erbringung des Dienstes verarbeitet, aber weder gespeichert noch protokolliert und nicht zum Training verwendet. Lokal ist die Verarbeitung also nur, wenn auch ein lokales Modell gewählt wird. Die Cloud-Funktionen lassen sich nach der FAQ abschalten, etwa mit der Variable OLLAMA_NO_CLOUD=1.

LM Studio

LM Studio ist eine Desktop-Anwendung mit grafischer Oberfläche für macOS, Windows und Linux. Nach der Dokumentation des Herstellers kann sie Folgendes.

• offene Modelle herunterladen und ausführen,
• über eine Chat-Oberfläche bedient werden,
• mit Dokumenten vollständig offline arbeiten („Chat with documents entirely offline“), also eine einfache Form von RAG nutzen,
• Modelle über OpenAI-ähnliche Schnittstellen lokal oder im Netzwerk bereitstellen,
• MCP-Server anbinden (siehe KI-Agenten).

Eine Internetverbindung braucht LM Studio nach eigenen Angaben nur für die Modellsuche und den Modellkatalog, für Downloads von Modellen und Laufzeitumgebungen sowie für Programmupdates. Hochgeladene Dokumente bleiben nach den Angaben des Herstellers auf dem Rechner.

Hardware – allgemeine Anforderungen

Lokale Modelle brauchen vor allem Arbeitsspeicher. Unter Windows empfiehlt LM Studio zusätzlich eigenen Grafikspeicher. LM Studio nennt folgende Systemvoraussetzungen.

System	Angaben von LM Studio
macOS	Apple Silicon (M1 bis M4), macOS 14.0 oder neuer, 16 GB RAM oder mehr empfohlen
Windows	x64 mit AVX2-Unterstützung oder ARM (Snapdragon X Elite), mindestens 16 GB RAM empfohlen, mindestens 4 GB dedizierter Grafikspeicher empfohlen
Linux	x64 oder ARM64 (aarch64), Ubuntu 20.04 oder neuer

Das sind Mindestempfehlungen für den Start. Größere Modelle benötigen deutlich mehr Speicher. Ob ein Modell auf der Grafikkarte, dem Prozessor oder geteilt läuft, zeigt bei Ollama der Befehl ollama ps.

Grenzen

• Qualität. Ein lokales Modell muss in den vorhandenen Speicher passen. Das begrenzt seine Größe. Für juristische Aufgaben muss jedes Modell an eigenen Testfällen geprüft werden.
• Halluzinationen bleiben auch lokal ein Thema (siehe KI-Halluzinationen).
• Betrieb. Updates, Datensicherung, Zugriffsschutz und Netzwerkfreigaben liegen bei der Kanzlei.
• Kontext. Die Länge der verarbeitbaren Texte hängt von Modell, Einstellung und Speicher ab.

Stand Oktober 2026