Ihre Daten bleiben im Haus
Fragen, Dokumente und Antworten verlassen Ihren Rechner nicht. Kein Anbieter liest mit, nichts landet in fremden Rechenzentren.
Ordner · Lokale KI
KI, die bei Ihnen im Haus bleibt
Offene KI-Modelle laufen auf Ihrem eigenen Rechner – ohne Cloud, ohne Gebühr pro Anfrage, und Ihre Daten verlassen das Haus nicht. Hier erklären wir in einfachen Worten, wie das geht und welches Modell wofür taugt.
Register 1 · Grundlagen
Was ist ein lokales Modell?
Wenn Sie ChatGPT oder Copilot nutzen, wandert jede Frage – samt angehängter Dokumente – auf die Server eines Anbieters. Ein lokales Modell ist dieselbe Art von KI, nur als Datei auf Ihrem eigenen Rechner. Ein kleines Programm lädt diese Datei und beantwortet Ihre Fragen direkt vor Ort.
Keine Kosten pro Anfrage
Die Modelle sind kostenlos herunterladbar. Sie zahlen für Rechner und Strom – nicht für jede einzelne Frage.
Läuft auch offline
Einmal heruntergeladen, arbeitet das Modell ohne Internetverbindung – im Zug, in der Werkhalle, im abgeschotteten Netz.
Register 2 · Anleitung
In drei Schritten zur eigenen KI
- 1 · Programm installieren
Sie brauchen ein Programm, das Modelle lädt und ausführt. Zwei bewährte, die auf Mac, Windows und Linux laufen:
Für Einsteiger
LM Studio
Ein normales Programm mit Fenster und Suchfeld – alles per Klick. Laut Nutzungsbedingungen für den internen Einsatz im Unternehmen erlaubt.
lmstudio.ai →Mit einem Befehl
Ollama
Schlank und schnell eingerichtet; gesteuert wird mit einem kurzen Befehl, den Sie hier einfach kopieren können.
ollama.com → - 2 · Modell herunterladen
In LM Studio
Nach dem Modellnamen suchen, zum Beispiel „Gemma 4“, und das Modell herunterladen.
Mit Ollama
ollama run gemma4:e4bDiesen Befehl ins Terminal kopieren (Mac: Programm „Terminal“, Windows: „Eingabeaufforderung“). Beim ersten Mal lädt Ollama das Modell herunter – je nach Größe einige Gigabyte.
Achtung: Bei Ollama gibt es auch Modelle mit dem Zusatz „cloud“ im Namen. Die laufen nicht bei Ihnen, sondern beim Anbieter.
- 3 · Loslegen
Fragen Sie wie bei ChatGPT, zum Beispiel: „Fasse diesen Text in drei Sätzen zusammen …“. Und machen Sie den Test: WLAN aus – das Modell antwortet weiter. So sehen Sie selbst, dass Ihre Eingaben den Rechner nicht verlassen.
Register 3 · Ausstattung
Welcher Rechner reicht?
Jedes Modell hat bei uns eine Größenklasse. Daran sehen Sie auf einen Blick, wo es sich wohlfühlt.
Laptop oder Büro-PC
Größe: klein
Für kleine Modelle reicht ein aktueller Rechner. LM Studio empfiehlt mindestens 16 GB Arbeitsspeicher, unter Windows zusätzlich eine Grafikkarte mit 4 GB eigenem Speicher.
Starker Arbeitsplatzrechner
Größe: mittel
Mittlere Modelle brauchen mehr Speicher: einen Rechner mit kräftiger Grafikkarte oder einen Mac mit viel Arbeitsspeicher. Am unteren Ende kommt gpt-oss-20b laut OpenAI mit 16 GB aus.
Server
Größe: groß
Große Modelle gehören auf einen Server mit Profi-Grafikkarte. Beispiel: gpt-oss-120b läuft laut OpenAI auf einer einzelnen Grafikkarte mit 80 GB Speicher.
Größenklassen nach der Zahl der Parameter: klein bis etwa 5 Mrd., mittel bis etwa 35 Mrd., groß darüber. Das ist eine grobe Orientierung; eigene Tests stehen noch aus. Quellen: Systemanforderungen von LM Studio, Modellkarte gpt-oss.
Register 4 · Auswahl
Welches Modell für welche Aufgabe?
Wir halten die Auswahl bewusst klein und aktualisieren sie wöchentlich. Alle Angaben stammen aus den Modellkarten der Hersteller (Stand: 28. Oktober 2026). Eigene Tests stehen noch aus – deshalb gibt es noch keine Bewertungen. Lizenzen vor dem Einsatz bitte im Original lesen.
Schreiben, zusammenfassen, Fragen beantworten
Die Allrounder: E-Mails entwerfen, Texte zusammenfassen, Fragen beantworten. Die kleinen laufen auf dem Laptop, die großen auf starken Rechnern oder Servern.
Google DeepMind
Gemma 4 E2B / E4B
Die kleinsten Gemma-Modelle, laut Google auch für Laptops und Smartphones gedacht; verstehen Text, Bilder und Audio.
- Größe: klein
- Deutsch: mehrsprachig
- Frei nutzbar, auch kommerziell
Mit Ollama starten
ollama run gemma4:e4bTechnische Details
- Modell
- Gemma 4 E2B / E4B
- Kann
- Text, Bilder, Audio
- Größe
- E2B: 2,3 Mrd. effektive Parameter (5,1 Mrd. mit Embeddings); E4B: 4,5 Mrd. effektiv (8 Mrd. mit Embeddings)
- Textmenge auf einmal (Kontext)
- 128.000 Token
- Deutsch
- Mehrsprachig – laut Modellkarte 35+ Sprachen direkt unterstützt; Deutsch nicht einzeln aufgeführt.
- Lizenz
- Apache 2.0
- Hinweis
- Die Gemma-4-Familie ist laut Google für Umgebungen vom Smartphone über Laptops bis zum Server gedacht; E2B und E4B sind die kleinsten Varianten.
- Quellen
- Geprüft am
- 28. Oktober 2026
Mistral AI
Ministral 3
Kompakte Modelle von Mistral in drei Größen für gewöhnliche Rechner; Deutsch wird unterstützt.
- Größe: klein bis mittel
- Deutsch: ja
- Frei nutzbar, auch kommerziell
Mit Ollama starten
ollama run ministral-3:8bTechnische Details
- Modell
- Ministral 3 (3B, 8B, 14B, Version 2512)
- Kann
- Text, Bilder – für den Betrieb am Rand des Netzes
- Größe
- 8B: 8,4 Mrd. Parameter Sprachmodell plus 0,4 Mrd. Bild-Encoder; dazu Varianten mit 3 und 14 Mrd.
- Textmenge auf einmal (Kontext)
- 256.000 Token
- Deutsch
- Ja – Deutsch laut Modellkarte unterstützt.
- Lizenz
- Apache 2.0
- Hinweis
- Herstellerangabe – Ministral 3 8B passt in FP8 in 12 GB Grafikspeicher.
- Quellen
- Geprüft am
- 28. Oktober 2026
Google DeepMind
Gemma 4
Vielseitiger Allrounder von Google in drei Größen: schreibt, fasst zusammen, beantwortet Fragen und versteht auch Bilder.
- Größe: mittel
- Deutsch: mehrsprachig
- Frei nutzbar, auch kommerziell
Mit Ollama starten
ollama run gemma4:12bTechnische Details
- Modell
- Gemma 4 (31B, 26B A4B, 12B)
- Kann
- Text, Bilder, Agenten, Code
- Größe
- 31B: 30,7 Mrd. Parameter; 26B A4B: Mixture-of-Experts mit 25,2 Mrd. Parametern, davon 3,8 Mrd. aktiv; 12B: 11,95 Mrd.
- Textmenge auf einmal (Kontext)
- 256.000 Token
- Deutsch
- Mehrsprachig – laut Modellkarte 35+ Sprachen direkt unterstützt, vortrainiert auf 140+ Sprachen; Deutsch nicht einzeln aufgeführt.
- Lizenz
- Apache 2.0
- Hinweis
- Das 12B-Modell verarbeitet laut Modellkarte auch Audio.
- Quellen
- Geprüft am
- 28. Oktober 2026
Qwen (Alibaba)
Qwen3.8-27B
Starker Allrounder für Texte, Code, Bilder und Videos – ausgelegt auch für sehr lange Dokumente.
- Größe: mittel
- Deutsch: keine Angabe
- Frei nutzbar, auch kommerziell
Mit Ollama starten
ollama run qwen3.8:27bTechnische Details
- Modell
- Qwen3.8-27B
- Kann
- Text, Bilder, Video, Agenten, Code
- Größe
- 27 Mrd. Parameter
- Textmenge auf einmal (Kontext)
- 262.144 Token nativ, laut Modellkarte erweiterbar auf bis zu 1 Mio.
- Deutsch
- In der Modellkarte nicht ausdrücklich genannt.
- Lizenz
- Apache 2.0
- Hinweis
- Das größere Schwestermodell Qwen3.8-Flash-Next steht unter einer eigenen „Qwen Community“-Lizenz und ist deshalb nicht aufgenommen.
- Quellen
- Geprüft am
- 28. Oktober 2026
Mistral AI
Mistral Small 4
Großes Modell aus Frankreich, das Schreiben, schrittweises Nachdenken und Programmieren in einem Modell vereint – mit Deutsch.
- Größe: groß
- Deutsch: ja
- Frei nutzbar, auch kommerziell
Technische Details
- Modell
- Mistral Small 4 (119B A6B, Version 2603)
- Kann
- Text, Bilder, Agenten, Code
- Größe
- Mixture-of-Experts mit 119 Mrd. Parametern, davon 6,5 Mrd. pro Token aktiv
- Textmenge auf einmal (Kontext)
- 256.000 Token
- Deutsch
- Ja – Deutsch laut Modellkarte unterstützt.
- Lizenz
- Apache 2.0
- Hinweis
- Vereint laut Mistral die bisherigen Modellreihen Instruct, Reasoning (früher Magistral) und Devstral (Code) in einem Modell.
- Quellen
- Geprüft am
- 28. Oktober 2026
OpenAI
gpt-oss
Das offene Modell von OpenAI, dem Hersteller von ChatGPT, in zwei Größen; die kleinere kommt laut OpenAI mit 16 GB Speicher aus.
- Größe: mittel bis groß
- Deutsch: keine Angabe
- Frei nutzbar, mit Zusatzregeln
Mit Ollama starten
ollama run gpt-oss:20bTechnische Details
- Modell
- gpt-oss (120b, 20b)
- Kann
- Text, Agenten, Code
- Größe
- 120b: 117 Mrd. Parameter, davon 5,1 Mrd. aktiv; 20b: 21 Mrd., davon 3,6 Mrd. aktiv
- Textmenge auf einmal (Kontext)
- 131.072 Token (laut Konfigurationsdatei)
- Deutsch
- In der Modellkarte nicht ausdrücklich genannt.
- Lizenz
- Apache 2.0, ergänzt um eine kurze Nutzungsrichtlinie (Einhaltung geltenden Rechts)
- Hinweis
- Herstellerangabe – gpt-oss-120b läuft auf einer einzelnen 80-GB-GPU, gpt-oss-20b mit 16 GB Speicher. Die Modelle erwarten OpenAIs „harmony“-Antwortformat.
- Quellen
- Geprüft am
- 28. Oktober 2026
IBM
Granite 4.2
Arbeitsmodell von IBM in drei Größen; Deutsch gehört laut IBM zu den getesteten Sprachen.
- Größe: klein bis mittel
- Deutsch: ja
- Frei nutzbar, auch kommerziell
Mit Ollama starten
ollama run granite4.2:8bTechnische Details
- Modell
- Granite 4.2 (3B, 8B, 30B)
- Kann
- Text, Agenten, Code
- Größe
- 3, 8 und 30 Mrd. Parameter
- Textmenge auf einmal (Kontext)
- 128.000 Token nativ, erweiterbar auf 512.000
- Deutsch
- Ja – Deutsch gehört laut Modellkarte zu den getesteten Sprachen.
- Lizenz
- Apache 2.0
- Hinweis
- Laut Modellkarte veröffentlicht am 25. August 2026.
- Quellen
- Geprüft am
- 28. Oktober 2026
EuroLLM-Projekt (UTTER)
EuroLLM-22B-Instruct
Europäisches Gemeinschaftsprojekt, gebaut für alle Sprachen der EU – Deutsch eingeschlossen.
- Größe: mittel
- Deutsch: ja
- Frei nutzbar, auch kommerziell
Technische Details
- Modell
- EuroLLM-22B-Instruct (Version 2512)
- Kann
- Text
- Größe
- 22 Mrd. Parameter
- Textmenge auf einmal (Kontext)
- 32.000 Token (laut Modellkarte auf 32k erweitert)
- Deutsch
- Ja – Deutsch steht in der Sprachliste der Modellkarte, neben den übrigen EU-Sprachen.
- Lizenz
- Apache 2.0
- Hinweis
- Ziel des Projekts sind laut Modellkarte Modelle für alle Sprachen der Europäischen Union; gefördert von der EU.
- Quellen
- Geprüft am
- 28. Oktober 2026
Swiss AI Initiative
Apertus 1.5
Schweizer Modell, bei dem sogar die Trainingsdaten offenliegen; vor dem Download fragen die Herausgeber E-Mail-Adresse und Nutzernamen ab.
- Größe: mittel bis groß
- Deutsch: mehrsprachig
- Frei nutzbar, mit Zusatzregeln
Technische Details
- Modell
- Apertus 1.5 (8B, 70B)
- Kann
- Text, Bilder, Audio
- Größe
- 8 und 70 Mrd. Parameter
- Textmenge auf einmal (Kontext)
- 262.144 Token
- Deutsch
- Laut Modellkarte stark mehrsprachig; Deutsch nicht einzeln aufgeführt.
- Lizenz
- Apache 2.0, zusätzlich Nutzungsrichtlinie (AUP)
- Hinweis
- Vollständig offen inklusive Trainingsdaten. Download erst nach Zustimmung zu Lizenz, Nutzungsrichtlinie und Datenschutzerklärung; dabei werden E-Mail-Adresse und Nutzername an die Herausgeber übermittelt.
- Quellen
- Geprüft am
- 28. Oktober 2026
Gespräche und Diktate abtippen
Aus Besprechungen, Telefonaten und Diktaten wird Text – ohne dass Aufnahmen das Haus verlassen.
OpenAI
Whisper large-v3-turbo
Bekanntes Modell zum Abtippen von Aufnahmen: klein, mit Deutsch und der übliche Vergleichsmaßstab.
- Größe: klein
- Deutsch: ja
- Frei nutzbar, auch kommerziell
Technische Details
- Modell
- Whisper large-v3-turbo
- Kann
- Transkription und Übersetzung ins Englische
- Größe
- 809 Mio. Parameter (laut Hugging Face)
- Deutsch
- Ja – Deutsch laut Modellkarte unterstützt.
- Lizenz
- MIT
- Hinweis
- Verkleinerte Fassung von Whisper large-v3 (4 statt 32 Decoder-Schichten). Seit Oktober 2024 verfügbar; der etablierte Vergleichsmaßstab für die Modelle darunter.
- Quellen
- Geprüft am
- 28. Oktober 2026
Mistral AI
Voxtral Mini 4B Realtime
Tippt live mit, während gesprochen wird; laut Mistral für den Betrieb direkt auf dem Gerät gebaut.
- Größe: klein
- Deutsch: ja
- Frei nutzbar, auch kommerziell
Technische Details
- Modell
- Voxtral Mini 4B Realtime (Version 2602)
- Kann
- Live-Transkription mit einstellbarer Verzögerung
- Größe
- 4 Mrd. Parameter (Sprachmodell rund 3,4 Mrd., Audio-Encoder rund 970 Mio.)
- Deutsch
- Ja – eine von 13 unterstützten Sprachen.
- Lizenz
- Apache 2.0
- Hinweis
- Laut Mistral für den Betrieb auf dem Gerät optimiert; Verzögerung zwischen 240 ms und 2,4 s einstellbar.
- Quellen
- Geprüft am
- 28. Oktober 2026
NVIDIA
Parakeet TDT 0.6B v3
Sehr kleines Abtipp-Modell von NVIDIA für 25 europäische Sprachen; bei Nutzung muss der Urheber genannt werden.
- Größe: klein
- Deutsch: ja
- Frei nutzbar mit Namensnennung
Technische Details
- Modell
- Parakeet TDT 0.6B v3
- Kann
- Transkription mit automatischer Spracherkennung
- Größe
- 600 Mio. Parameter
- Deutsch
- Ja – eine von 25 europäischen Sprachen.
- Lizenz
- CC BY 4.0 (Namensnennung erforderlich)
- Hinweis
- Laut NVIDIA für kommerzielle und nichtkommerzielle Nutzung freigegeben.
- Quellen
- Geprüft am
- 28. Oktober 2026
IBM
Granite Speech 5.0 2B
Tippt Gespräche ab und übersetzt sie; eigene Fachbegriffe lassen sich vorgeben, damit sie richtig erkannt werden.
- Größe: klein
- Deutsch: ja
- Frei nutzbar, auch kommerziell
Technische Details
- Modell
- Granite Speech 5.0 2B
- Kann
- Transkription und Sprachübersetzung (Englisch, Französisch, Deutsch, Spanisch, Portugiesisch, Japanisch)
- Größe
- 2,3 Mrd. Parameter (laut Hugging Face)
- Deutsch
- Ja – Deutsch laut Modellkarte unterstützt.
- Lizenz
- Apache 2.0
- Hinweis
- Laut Modellkarte veröffentlicht am 20. Oktober 2026. Bis zu 2.000 Stichwörter (z. B. Produkt- oder Fachbegriffe) lassen sich zur besseren Erkennung vorgeben.
- Quellen
- Geprüft am
- 28. Oktober 2026
Scans und PDFs lesbar machen
Gescannte Briefe, Rechnungen und PDFs in Text verwandeln, den man durchsuchen und weiterverarbeiten kann.
IBM Research
Granite Docling 258M
Macht aus PDFs und Scans sauber gegliederte Dokumente – derzeit vor allem für Englisch.
- Größe: klein
- Deutsch: nein
- Frei nutzbar, auch kommerziell
Technische Details
- Modell
- Granite Docling 258M
- Kann
- Wandelt PDFs und Scans in strukturierte Dokumente um
- Größe
- 258 Mio. Parameter
- Deutsch
- Nein – laut Modellkarte Englisch; Japanisch, Arabisch und Chinesisch experimentell.
- Lizenz
- Apache 2.0
- Hinweis
- Teil der Open-Source-Bibliothek Docling. Laut Modellkarte veröffentlicht am 17. September 2025.
- Quellen
- Geprüft am
- 28. Oktober 2026
Z.ai
GLM-OCR
Liest Text, Tabellen und Siegel auch aus schwierigen Dokumenten aus; Deutsch wird unterstützt.
- Größe: klein
- Deutsch: ja
- Frei nutzbar, auch kommerziell
Mit Ollama starten
ollama run glm-ocr "Text Recognition: ./scan.png"Technische Details
- Modell
- GLM-OCR
- Kann
- Texterkennung und Informationsextraktion aus komplexen Dokumenten
- Größe
- 0,9 Mrd. Parameter (laut Modellkarte)
- Deutsch
- Ja – Deutsch laut Modellkarte unterstützt.
- Lizenz
- MIT
- Hinweis
- Laut Hersteller auf praktische Geschäftsfälle ausgelegt, etwa komplexe Tabellen, Siegel und schwierige Layouts. Hugging Face zählt 1,33 Mrd. Parameter in den Gewichtsdateien – die Modellkarte nennt 0,9 Mrd.
- Quellen
- Geprüft am
- 28. Oktober 2026
Eigene Dokumente durchsuchbar machen
Bausteine für „Fragen Sie Ihre Dokumente“: Sie helfen einer KI, in Ihren Unterlagen die passenden Stellen zu finden. Diese Modelle arbeiten im Hintergrund von Such-Anwendungen – zum Chatten sind sie nicht gedacht.
Google DeepMind
EmbeddingGemma 2
Arbeitet im Hintergrund einer Dokumentensuche und hilft, in Ihren Unterlagen die passenden Stellen zu finden. Nicht zum Chatten.
- Größe: klein
- Deutsch: mehrsprachig
- Frei nutzbar, auch kommerziell
Technische Details
- Modell
- EmbeddingGemma 2
- Kann
- Semantische Suche über Text, Bilder, Video und Audio
- Größe
- 740 Mio. Parameter insgesamt, davon 270 Mio. für Text
- Textmenge auf einmal (Kontext)
- 8.192 Token
- Deutsch
- Mehrsprachig – laut Modellkarte 100+ Sprachen; Deutsch nicht einzeln aufgeführt.
- Lizenz
- Apache 2.0
- Hinweis
- Bild- und Audio-Encoder lassen sich laut Modellkarte weglassen, wenn nur Text gebraucht wird.
- Quellen
- Geprüft am
- 28. Oktober 2026
Qwen (Alibaba)
Qwen3-Embedding
Macht eine Suche nach Bedeutung statt nach Stichworten möglich – Grundlage für „Fragen Sie Ihre Dokumente“.
- Größe: klein bis mittel
- Deutsch: mehrsprachig
- Frei nutzbar, auch kommerziell
Mit Ollama starten
ollama pull qwen3-embedding:0.6bTechnische Details
- Modell
- Qwen3-Embedding (0.6B, 4B, 8B)
- Kann
- Semantische Suche über Text und Code
- Größe
- 0,6, 4 und 8 Mrd. Parameter
- Textmenge auf einmal (Kontext)
- 32.000 Token
- Deutsch
- Mehrsprachig – laut Modellkarte 100+ Sprachen; Deutsch nicht einzeln aufgeführt.
- Lizenz
- Apache 2.0
- Quellen
- Geprüft am
- 28. Oktober 2026
Qwen (Alibaba)
Qwen3-Reranker
Sortiert Suchtreffer so, dass die wirklich passenden Stellen oben stehen – Ergänzung zur Dokumentensuche.
- Größe: klein bis mittel
- Deutsch: mehrsprachig
- Frei nutzbar, auch kommerziell
Technische Details
- Modell
- Qwen3-Reranker (0.6B, 4B, 8B)
- Kann
- Sortiert Suchtreffer nach Relevanz neu (Reranking)
- Größe
- 0,6, 4 und 8 Mrd. Parameter
- Textmenge auf einmal (Kontext)
- 32.000 Token
- Deutsch
- Mehrsprachig – laut Modellkarte 100+ Sprachen; Deutsch nicht einzeln aufgeführt.
- Lizenz
- Apache 2.0
- Quellen
- Geprüft am
- 28. Oktober 2026
Register 5 · Häufige Fragen
Was Einsteiger oft fragen
Kostet das etwas?
Die Modelle selbst sind kostenlos herunterladbar. Kosten entstehen für Hardware und Strom – nicht pro Anfrage wie bei Cloud-Diensten.
Sind lokale Modelle so gut wie ChatGPT?
Für viele Alltagsaufgaben – zusammenfassen, umformulieren, Entwürfe schreiben – reichen gute lokale Modelle aus. Bei sehr anspruchsvollen Aufgaben sind die größten Cloud-Modelle meist noch voraus. Am besten testen Sie mit Ihren eigenen Aufgaben.
Dürfen wir die Modelle im Unternehmen nutzen?
Das regelt die Lizenz des jeweiligen Modells. Die meisten hier aufgeführten stehen unter Apache 2.0 oder MIT und dürfen auch kommerziell genutzt werden. Lesen Sie die Lizenz vor dem Einsatz trotzdem im Original – die Links stehen bei jedem Modell unter „Technische Details“.
Brauche ich eine Grafikkarte?
Für den Einstieg nicht unbedingt: Kleine Modelle laufen auch ohne. Mit Grafikkarte – oder auf einem Mac mit Apple-Chip – antworten sie deutlich schneller.
Woher kennt die KI dann unser Unternehmen?
Gar nicht – ein Modell allein weiß nichts über Ihre Produkte, Kunden und Abläufe. Damit es Ihr Unternehmen versteht, braucht es aufbereitetes Wissen. Genau darum geht es im kostenlosen KI-Check.
Ablage-Vermerk · Termin
Kostenloser KI-Check
30 Minuten, per Video oder bei Ihnen. Bringen Sie den Fall mit, der Sie am meisten ärgert – wir sagen Ihnen, in welchem Ordner das Problem liegt.
Termin eintragen