Lokaler KI-Sprachassistent ohne Cloud: Erfahrungen mit einem Offline-KI-Assistenten

Die meisten KI-Assistenten leben in der Cloud. Sie hören zu, verarbeiten die Eingabe auf externen Servern und schicken die Antwort zurück. Das ist bequem und für viele Use Cases völlig ausreichend. Aber sobald vertrauliche Gespräche, Ideen, interne Dokumente oder sensibles Fachwissen ins Spiel kommen, stellt sich eine andere Frage:

Muss dieses Gespräch überhaupt das Unternehmen verlassen?

Genau deshalb habe ich Buddy gebaut: einen lokalen KI-Sprachassistenten für macOS. Kein ChatGPT im Browser. Keine API-Rechnung pro Satz. Whisper, Ollama und Kokoro laufen direkt auf dem Rechner. Die Unterhaltung bleibt dort, wo sie entsteht.

Buddy ist kein Produktpitch und kein Ersatz für Unternehmensplattformen. Es ist ein Arbeitsgerät und ein Architekturtest. Und genau deshalb eignet es sich als Praxisbeispiel: Es zeigt, was lokale KI heute schon möglich macht, wo freie Software noch an Grenzen stößt und welche Möglichkeiten entstehen, wenn Sprachmodell und Wissensquelle direkt dort laufen, wo die Daten ohnehin liegen.

Was ein lokaler KI-Sprachassistent heute kann

Buddy ist voice-first. Du redest, der Assistent hört zu, verarbeitet die Eingabe lokal und spricht zurück. Tippen geht ebenfalls, wenn Reden gerade nicht passt.

• Offline-first. Spracherkennung, Sprachmodell und Stimme laufen lokal. Kein ChatGPT und keine Verarbeitung der Unterhaltung in einer Cloud.
• Unterbrechen. Wenn der Assistent noch spricht, kannst du jederzeit dazwischenreden. Die Ausgabe stoppt, statt dass du den gesamten Monolog abwarten musst.
• Charaktere. Lena denkt mit, Max challengt. Stimme, Stil und Persönlichkeit sind pro Charakter einstellbar.
• Private Sessions. Der Incognito-Modus ermöglicht Gespräche, die nicht gespeichert werden sollen.
• Optionale Recherche. Websuche gibt es nur, wenn du sie bewusst einschaltest. Standard ist die lokale Verarbeitung.

Technisch steckt dahinter ein Stack, den viele Entwickler und Teams bereits kennen: faster-whisper für Speech-to-Text, Ollama für das lokale LLM, zum Beispiel Qwen 2.5 14B oder Llama 3.2, und Kokoro für Text-to-Speech.

Die spannende Frage ist dabei nicht der Stack allein. Spannender ist, was lokal sinnvoll wird, sobald die Daten den Rechner nicht verlassen müssen.

Lokale KI statt Cloud: Wann lohnt sich das?

Cloud-Dienste sind bequem, leistungsfähig und für viele Unternehmen der richtige Weg. Trotzdem gibt es Anwendungsfälle, bei denen ein lokaler KI-Assistent deutliche Vorteile bietet.

• Interne Dokumente sollen das Unternehmen nicht verlassen.
• Vertrauliche Gespräche dürfen nicht an externe KI-Anbieter übertragen werden.
• KI soll auch ohne Internetverbindung funktionieren.
• Es gibt hohe Anforderungen an Datenschutz und Compliance.
• Eigene Dokumente und Wissensquellen sollen direkt als Kontext für die KI dienen.
• Bestimmte Arbeitsplätze oder Netzwerke müssen vom Internet getrennt bleiben.

Genau dort wird lokale KI interessant. Die entscheidende Frage ist nicht nur, ob ein Sprachmodell offline laufen kann. Die wichtigere Frage lautet: Was kann ein lokaler KI-Assistent mit den Daten tun, die bereits auf dem Rechner oder im eigenen Netzwerk liegen?

Ehrlicher Blick auf die Sprachqualität

Buddy klingt nicht wie ein Mensch. Und das sollte man auch nicht versprechen. Die Qualität ist gut genug für den Alltag. Aber freie Software hat Grenzen: Die Betonung bei Fragen rutscht manchmal, einzelne Buchstaben werden verschluckt und der Rhythmus bleibt gelegentlich maschinell.

Mit gezielter Optimierung geht trotzdem einiges. Chunking, Stimmenwahl, Satzlängen und Nachbearbeitung entscheiden darüber, ob die Stimme nur „okay“ oder wirklich brauchbar wirkt. Der Unterschied liegt oft nicht im großen Modellwechsel, sondern in vielen kleinen Stellschrauben.

Für Kundenprojekte ist das eine wichtige Lektion: Voice-Qualität ist Engineering, nicht Magie. Wer realistische Erwartungen setzt und systematisch nachschärft, kommt mit lokalem TTS schon weit. Wer „wie ein Mensch“ als Messlatte nimmt, wird enttäuscht.

Der eigentliche Hebel: lokale Daten und eine lokale Wissensbasis

Stimme und Charaktere sind sichtbar. Der strategisch interessantere Punkt ist ein anderer: Ein lokaler KI-Assistent kann mit lokalen Daten arbeiten, ohne dass Fachwissen in eine externe Cloud wandert.

Daraus entstehen Use Cases, die mit einem klassischen Cloud-Chatbot oft an Grenzen stoßen oder aus Datenschutzgründen zumindest sorgfältig geprüft werden müssen:

• Knowledge Base am Arbeitsplatz. Ein lokaler Assistent greift auf interne Handbücher, Prozessdokumentationen oder Projektwissen zu und unterstützt Mitarbeiter, ohne dass diese Dokumente an einen externen KI-Dienst hochgeladen werden.
• Kanzlei. Ein Assistent arbeitet mit Gesetzestexten, Kommentaren und eigenen Schriftsatz-Vorlagen. Er unterstützt bei Recherche und Strukturierung, während die zugrunde liegenden Daten lokal bleiben.
• Medizin und Forschung. Papers, Leitlinien und interne Notizen können als Wissensbasis dienen. Der Assistent unterstützt beim Ordnen und Nachschlagen, während sensible Daten innerhalb der eigenen Umgebung bleiben.
• Fachabteilungen im Mittelstand. Normen, Verträge, Maschinenhandbücher und Qualitätsregeln sind genau die Dokumente, die man häufig nicht in einen generischen Cloud-Chat legen möchte.

Das ist der eigentliche Architekturvorteil. Nicht „schöne Stimme offline“, sondern: Modell und Wissensquelle sitzen dort, wo die Daten sowieso liegen dürfen. Aus einem Chatbot wird ein lokaler KI-Agent mit echtem Kontext.

Technisch heißt das typischerweise Retrieval über lokale Dokumente, klare Zugriffsrechte und eine definierte Systemprompt-Rolle. Buddy zeigt den Einstieg. In Kundenprojekten wird daraus eine belastbare KI-Wissensdatenbank: Wissensindex, Auswertungspfad und Auditierbarkeit, lokal hinter der Firewall oder in einer EU-Cloud. Die Daten bleiben in der gewählten Umgebung. Es entsteht kein Vendor-Lock-in bei einem öffentlichen Chatbot.

Charaktere und Unterbrechen bleiben nützlich

Die meisten KI-Chats klingen gleich: höflich, glatt und austauschbar. In Buddy ist der Charakter Teil der Architektur. Lena denkt mit. Max challengt, statt alles abzunicken.

Das ist kein Selbstzweck. In echten Arbeitskontexten braucht man unterschiedliche Modi: nachfragen, kritisch hinterfragen, schnell entscheiden oder gründlich erklären. Rolle und Prompt steuern das klarer als ein generischer „Hilf mir“-Chat.

Unterbrechen gehört dazu. Viele Voice-Demos zwingen dich, bis zum Ende zuzuhören. In Buddy kannst du die Ausgabe abbrechen und direkt neu ansetzen. Das ist kein menschlicher Dialog. Es ist aber ein wichtiger Unterschied zwischen einem Werkzeug und einer Monolog-Maschine.

Gerade in Betrieb, Lager, Service oder anderen Situationen, in denen Mitarbeiter nicht ständig auf einen Bildschirm schauen können, entscheiden solche Details darüber, ob ein Sprachassistent tatsächlich im Alltag funktioniert.

Was lokale KI für Unternehmen interessant macht

Buddy selbst ist ein persönliches Lab. Die Erkenntnisse daraus lassen sich trotzdem direkt auf Unternehmensprojekte übertragen:

1. Nicht jede KI braucht die Cloud. Gerade dann nicht, wenn Fachdaten, Entwürfe oder interne Gespräche innerhalb der eigenen Umgebung bleiben sollen.
2. Datenschutz beginnt bei der Architektur. „Wir haben einen Auftragsverarbeiter“ ist etwas anderes als „die Daten verlassen den Rechner nicht“.
3. Lokale Agenten werden mit lokalen Quellen interessant. Gesetzestexte, Papers, Handbücher, Normen und interne Wissensbasen schaffen den eigentlichen Mehrwert.
4. Qualität ist Optimierungsarbeit. Stimme, Retrieval und Rollenprompt werden durch Nachschärfen brauchbar und nicht durch einmaliges Aufsetzen.

Genau so arbeite ich bei Pilicore: Erst kommt das Prozessproblem, dann die passende Architektur. Manchmal ist das Microsoft Copilot. Manchmal eine eigene Agentenplattform. Manchmal ein lokales Modell mit eigener Wissensbasis hinter der Firewall.

Die richtige Antwort kommt selten aus dem Marketing-Slide, sondern aus dem gebauten Prototyp. Gerade bei lokaler KI lässt sich dadurch schnell herausfinden, ob ein Modell, eine Hardwarekonfiguration und eine bestimmte Wissensbasis für den konkreten Anwendungsfall bereits ausreichen.

Für wen sich ein lokaler KI-Sprachassistent lohnt

Ein lokaler KI-Assistent lohnt sich besonders, wenn mindestens eines dieser Kriterien zutrifft:

• Fachdaten oder vertrauliche Gespräche dürfen nicht in externe Clouds gelangen.
• Sie wollen KI offline oder mit strenger Netztrennung nutzen.
• Sie brauchen einen KI-Agenten auf eigenen Dokumenten, zum Beispiel für eine Knowledge Base, Normen oder Papers.
• Sie möchten testen, ob lokale Sprachmodelle für Ihren konkreten Use Case bereits ausreichen.
• Sie wollen sensible Unternehmensdaten mit KI nutzen, ohne dafür einen externen KI-Dienst als zentrale Datenverarbeitungsstelle einzusetzen.

Er lohnt sich weniger, wenn Sie vor allem breite Webrecherche, umfangreiche Office-Integration für die gesamte Belegschaft oder unternehmensweite Workflows benötigen. Dann sind Cloud-Assistenten oder integrierte Plattformen häufig der kürzere und wirtschaftlichere Weg.

Lokale KI oder Cloud-KI: Was ist die bessere Lösung?

Die Frage sollte deshalb nicht lauten, ob lokale KI grundsätzlich besser ist als Cloud-KI. Die bessere Frage lautet: Welche Architektur passt zum konkreten Prozess, zu den Daten und zu den Anforderungen des Unternehmens?

Cloud-KI bietet große Modelle, einfache Skalierung und eine schnelle Integration in bestehende Plattformen. Lokale KI bietet dagegen mehr Kontrolle über Daten, Modelle und die technische Umgebung.

In der Praxis kann deshalb auch eine Kombination sinnvoll sein. Ein Unternehmen kann beispielsweise allgemeine Aufgaben mit einem Cloud-Assistenten erledigen und besonders sensible Dokumente oder Prozesse mit einem lokalen Modell verarbeiten.

Entscheidend ist, die Architektur nicht nach dem aktuellen KI-Hype auszuwählen, sondern nach dem tatsächlichen Anwendungsfall.

Häufige Fragen zu lokalen KI-Assistenten

Kann man einen KI-Assistenten komplett ohne Cloud betreiben?

Ja. Mit Komponenten wie faster-whisper für Speech-to-Text, Ollama für lokale Sprachmodelle und Kokoro für Text-to-Speech lässt sich ein Sprachassistent vollständig lokal betreiben. Voraussetzung ist natürlich, dass die verwendeten Modelle und Anwendungen lokal installiert sind und keine externen Dienste für einzelne Funktionen benötigen.

Ist ein lokaler KI-Assistent automatisch DSGVO-konform?

Nein. Lokale Verarbeitung kann Datenschutz und Compliance deutlich vereinfachen, weil Daten nicht automatisch an externe Anbieter übertragen werden. Ein lokales System muss trotzdem sauber konfiguriert, abgesichert und in das Datenschutzkonzept des Unternehmens eingebunden werden.

Welche Modelle kann man lokal mit Ollama betreiben?

Ollama unterstützt eine Vielzahl lokaler Sprachmodelle. Welche Variante sinnvoll ist, hängt vom Anwendungsfall, der verfügbaren Hardware und den Anforderungen an Geschwindigkeit und Antwortqualität ab. Für einen produktiven Einsatz sollte deshalb nicht nur das größte verfügbare Modell betrachtet werden.

Welche Hardware braucht ein lokaler KI-Assistent?

Das hängt stark vom verwendeten Modell ab. Moderne Macs mit Apple Silicon und leistungsfähige PCs können bereits viele aktuelle Sprachmodelle lokal ausführen. Für größere Modelle und mehrere parallele Benutzer steigen die Anforderungen entsprechend.

Lohnt sich lokale KI für den Mittelstand?

Ja, insbesondere wenn sensible Unternehmensdaten, interne Dokumente oder Fachwissen mit KI verarbeitet werden sollen. Entscheidend ist aber immer der konkrete Prozess. Nicht jede Aufgabe benötigt ein lokales Modell und nicht jede Cloud-Anwendung lässt sich sinnvoll durch lokale KI ersetzen.

Was Buddy am Ende zeigt

Buddy ist kein Beweis dafür, dass lokale KI die Cloud ersetzt. Das wäre genauso falsch wie die Behauptung, dass Cloud-KI für jedes Unternehmen die beste Lösung ist.

Buddy zeigt etwas viel Interessanteres: Ein lokaler KI-Sprachassistent ist heute technisch machbar und für bestimmte Anwendungsfälle bereits erstaunlich brauchbar.

Die spannendste Entwicklung liegt dabei nicht unbedingt in der Stimme. Sie liegt darin, dass Sprachmodell, Assistent und Wissensbasis gemeinsam in einer kontrollierten Umgebung arbeiten können.

Aus einem einfachen Sprachassistenten kann dadurch ein lokaler KI-Agent werden, der nicht nur Fragen beantwortet, sondern mit dem Wissen eines Unternehmens arbeitet.

Genau dort wird lokale KI für Unternehmen interessant.

Wenn Sie prüfen möchten, ob ein lokales KI-Modell, ein eigener KI-Agent oder eine hybride Architektur für Ihren Anwendungsfall sinnvoll ist, lohnt sich zuerst ein konkreter Prototyp. Nicht jede KI-Frage braucht ein großes Projekt. Oft zeigt ein kleiner Proof of Concept schneller, welche Architektur tatsächlich funktioniert.

Möchten Sie generative KI oder Sprach- und Textassistenten im Unternehmen nutzen, scheitern aber an den Datenschutzvorgaben der Cloud? In 15 Minuten kläre ich unverbindlich, wie eine lokale oder EU-Cloud-Architektur für Ihre internen Daten aussehen kann. Zum Erstgespräch.