Alles was du über
lokale KI wissen musst

Lokale KI bedeutet, dass KI-Sprachmodelle direkt auf deinem eigenen Computer laufen — ohne Verbindung zu externen Servern. Deine Daten verlassen niemals dein Gerät. Du brauchst keine Abonnements, keinen Account, kein Internet. Der Nachteil: Du brauchst geeignete Hardware (mindestens 16 GB RAM empfohlen).

Ollama ist ein kostenloses Open-Source-Tool, das KI-Modelle lokal auf deinem Mac, Linux oder Windows-PC zum Laufen bringt. Es übernimmt den Download, die Verwaltung und den Betrieb der Modelle. Du kannst Modelle mit einem Befehl laden: ollama pull qwen2.5:7b. Ollama stellt auch eine API bereit, die andere Tools (wie Open WebUI) nutzen können. → Ausführliche Anleitung

Open WebUI ist eine kostenlose, lokale Chat-Oberfläche — ähnlich wie ChatGPT, aber komplett auf deinem Gerät. Es verbindet sich mit Ollama und stellt einen Chat-Interface im Browser bereit. Du kannst mehrere Modelle wechseln, Gesprächsverläufe speichern und sogar Spracheingabe nutzen. Läuft auf http://localhost:3000. → Setup-Anleitung

Das hängt vom Anwendungsfall ab. Lokale KI gewinnt bei: Privatsphäre (keine Datenweitergabe), Langzeit-Kosten (einmalige Hardware-Investition), Offline-Betrieb und Anpassbarkeit. Cloud-KI (ChatGPT, Claude) gewinnt bei: Modell-Qualität (GPT-4, Claude Sonnet sind stärker als typische lokale 7B-Modelle), aktuelles Weltwissen und Komfort. Für viele ist die beste Lösung: lokale KI für Alltag + private Daten, Cloud-KI für komplexe Aufgaben. → Kostenvergleich

Ein Large Language Model (LLM) ist ein KI-System, das auf riesigen Textmengen trainiert wurde und natürliche Sprache versteht und generiert. Es kann Texte schreiben, Fragen beantworten, Code erstellen und vieles mehr. Bekannte LLMs: GPT-4 (OpenAI), Claude (Anthropic), Llama (Meta), Qwen (Alibaba). Die "Größe" (7B, 32B, 70B) gibt die Anzahl der Parameter an — mehr Parameter = mehr Fähigkeiten, aber auch mehr RAM nötig. → KI-Lexikon

Faustregel: Das KI-Modell muss komplett in den Arbeitsspeicher passen. Bei 4-Bit-Quantisierung: 7B-Modell ≈ 4–5 GB, 14B ≈ 8–10 GB, 32B ≈ 18–20 GB, 70B ≈ 40–45 GB. Empfehlung: 16 GB für den Einstieg (7B/14B-Modelle), 24 GB für komfortables Arbeiten mit 32B, 48 GB+ für 70B-Modelle. Beim Mac Mini ist das Unified Memory (UMA) — System + KI teilen sich den RAM. → Hardware-Vergleich

Drei Gründe: 1. Unified Memory: Bei Apple teilen GPU und CPU denselben RAM — kein VRAM-Engpass wie bei NVIDIA-Karten (RTX 4070 hat nur 12 GB VRAM). 2. Einfachheit: Ollama läuft nativ auf macOS, kein Treiber-Setup. 3. Energieeffizienz: Mac Mini M4 verbraucht ~20W im Betrieb — ein Gaming-PC mit RTX 4090 über 400W. Für Gaming-PC + RTX 4090 spricht nur: CUDA-Beschleunigung für Stable Diffusion und Fine-Tuning. → Detaillierter Hardware-Vergleich

Ja, wenn er genug RAM hat. Unter Windows/Linux läuft Ollama ebenfalls. Mit 16+ GB RAM und einer halbwegs modernen CPU sind 7B-Modelle möglich. Hat dein PC eine NVIDIA-GPU mit 8+ GB VRAM, ist die Geschwindigkeit deutlich besser — Ollama nutzt CUDA automatisch. Mit einer RTX 3070 (8 GB VRAM) laufen 7B-Modelle sehr flüssig. AMD-GPUs werden über ROCm unterstützt, aber die Integration ist weniger ausgereift.

16 GB reicht für: Alltagsnutzung, 7B–14B-Modelle, KI als Gelegenheits-Tool. 24 GB empfiehlt sich für: tägliche intensive Nutzung, 32B-Modelle, gleichzeitig KI + andere Apps, Entwickler-Setup. Wichtig: RAM ist beim Mac Mini nicht nachträglich aufrüstbar — einmal kaufen, das wars. Im Zweifel: 24 GB. Der Aufpreis (~240€) rechnet sich schnell wenn du die Grenzen spürst.

Eine SSD ist Pflicht — eine HDD wäre viel zu langsam für das Laden von Modellen. Der Mac Mini M4 hat bereits eine schnelle NVMe-SSD eingebaut. Wichtiger: Ausreichend freier Speicher. Ein 7B-Modell belegt ~4 GB, ein 32B-Modell ~20 GB. Wenn du mehrere Modelle haben möchtest, plane ~100 GB ein.

1. Gehe zu ollama.com und lade die macOS-Version herunter. 2. Das DMG öffnen, Ollama in den Programme-Ordner ziehen. 3. Ollama starten — das Lama-Symbol erscheint in der Menüleiste. 4. Terminal öffnen und testen: ollama --version. 5. Erstes Modell laden: ollama pull llama3.2:3b. Fertig. → Vollständige Setup-Checkliste

Standardmäßig hört Ollama nur auf localhost:11434. Um es netzwerkweit erreichbar zu machen, musst du die Umgebungsvariable OLLAMA_HOST=0.0.0.0 setzen. Auf macOS: In den Ollama-Einstellungen (Systemeinstellungen → Umgebungsvariablen) oder als LaunchAgent konfigurieren. Dann ist Ollama über http://DEINE-IP:11434 erreichbar. → Detaillierte Anleitung

Ja! Open WebUI läuft im Browser — auch auf dem Smartphone oder Tablet. Du musst nur die IP-Adresse deines Mac Minis im Browser eingeben: http://192.168.1.xxx:3000. Beide Geräte müssen im gleichen WLAN sein. Wenn Ollama netzwerkweit erreichbar ist, funktioniert das komplett ohne Cloud.

LM Studio: Benutzerfreundliche Desktop-App mit eigener Model-Library. Gut für Einsteiger. Jan: Minimalistischer Desktop-Client, sehr einfach. Chatbox: Schlanker Client, auch für Windows. Msty: macOS-App mit schönem UI. Alle funktionieren mit Ollama als Backend. Für den Einstieg: LM Studio oder Jan. Für Power-User: Open WebUI.

Häufige Ursachen: 1. Modell zu groß: Wenn das Modell nicht vollständig in den RAM passt, wird auf die SSD ausgelagert ("Swap") — das ist 100x langsamer. Lösung: kleineres Modell wählen oder RAM aufrüsten. 2. Falsches Quantisierungs-Level: Q8-Modelle sind genauer aber langsamer als Q4. Für Alltag reicht Q4. 3. Zu viele andere Apps: Bei 16 GB Mac Mini: andere speicherhungrige Apps schließen. 4. Zu große Prompts: Sehr lange Kontexte verlangsamen alle Modelle.

Qwen2.5 (7B/32B) von Alibaba ist derzeit das beste frei verfügbare Modell für Deutsch. Es hat ausgezeichnetes Deutsch-Verständnis und generiert flüssige, fehlerfreie Texte. Mistral 7B ist ebenfalls gut. Llama 3.3 ist stark, aber primär auf Englisch optimiert. Für rein deutschsprachige Nutzung: Qwen2.5:7b ist die erste Wahl. → Top 10 Modelle Vergleich

Die Zahlen geben die Anzahl der Parameter an (B = Milliarden). Parameter sind die "Wissens-Gewichte" des Modells — vereinfacht gesagt: mehr Parameter = mehr Intelligenz, aber auch mehr RAM-Bedarf. 7B: ~4 GB RAM, gut für Alltag. 13B: ~8 GB, bessere Qualität. 32B: ~20 GB, sehr gut. 70B: ~40 GB, nahe an Cloud-Qualität. Ein 70B-Modell ist nicht 10x besser als ein 7B — aber spürbar nuancierter und genauer.

Quantisierung ist eine Methode, Modelle zu komprimieren. Q8 = 8-Bit-Präzision (genauer, größer), Q4 = 4-Bit (kompakter, etwas ungenauer). In der Praxis: Q4 ist kaum schlechter als Q8, aber benötigt halb so viel RAM. Für normale Nutzung reicht Q4 vollständig aus. Ollama lädt standardmäßig die Q4-Version. In Dateinamen siehst du das an Suffixen wie :7b-q4_0 oder :32b-q8_0.

Spezialisierte Code-Modelle sind deutlich besser als General-Purpose-Modelle für Code. Top-Wahl: Qwen2.5-Coder:7b oder :32b — sehr stark in Python, JavaScript, Go, SQL. DeepSeek-Coder-V2:16b ist ebenfalls exzellent. Zum Vergleich: Qwen2.5-Coder übertrifft GPT-3.5 in vielen Code-Benchmarks. Starten: ollama pull qwen2.5-coder:7b

Einfach erneut pullen — Ollama überschreibt das alte Modell: ollama pull qwen2.5:7b. Um zu sehen welche Modelle du hast und wann sie zuletzt aktualisiert wurden: ollama list. Um ein nicht mehr benötigtes Modell zu löschen: ollama rm modellname. Neue Modelle erscheinen regelmäßig — schau auf ollama.com/library.

Ja — sogenannte multimodale Modelle. LLaVA (Large Language and Vision Assistant) war das erste populäre visuelle Modell für Ollama. Neuer und besser: Llama 3.2 Vision und Qwen2.5-VL. Damit kannst du Fotos analysieren, Dokumente beschreiben oder Screenshots erklären lassen. Starten: ollama pull llava:7b oder ollama pull qwen2.5vl:7b.

Mac Mini M4 (679€) + Strom (~20W × 8h/Tag × 365 × 0,30€/kWh ≈ 18€/Jahr) = ca. 697€ im ersten Jahr, danach ~18€/Jahr. Zum Vergleich: Claude Pro kostet 22€/Monat = 264€/Jahr = nach 3 Jahren 792€. Break-Even: nach ca. 3 Jahren ist die Hardware günstiger als ein kontinuierliches Abo. Bei intensiver Nutzung rechnet sie sich schneller. Für gelegentliche Nutzung kann ein Cloud-Abo günstiger bleiben. → Detaillierter Kostenvergleich

Ja, vollständig kostenlos und Open Source (MIT-Lizenz). Ollama selbst, alle Modelle, Open WebUI — alles kostenlos. Du zahlst nur für die Hardware. Die Modelle (Qwen2.5, Llama 3.3, Mistral usw.) sind Open-Source-Modelle die frei verfügbar sind. Für kommerzielle Nutzung einiger Modelle gibt es Lizenzbeschränkungen — für Privatnutzung und die meisten Unternehmensgrößen sind sie frei nutzbar.

Für viele Nutzer: ja. Claude Pro (22€/Monat) gibt Zugang zu Claude Sonnet 3.7 — einem der besten verfügbaren Modelle, das lokale 7B–32B-Modelle qualitativ übertrifft. Sinnvoll für: komplexe Analysen, kreative Texte auf höchstem Niveau, Coding mit komplexen Architekturen. Lokale KI bleibt für: vertrauliche Daten, Alltagsfragen, häufige einfache Anfragen. Die Kombination ist optimal: Privates lokal, Anspruchsvolles in der Cloud. → Claude-Seite

Nein — wenn du Ollama lokal betreibst, verlässt kein einziges Byte deiner Anfragen deinen Computer. Weder der Prompt, noch die Antwort, noch dein Konversationsverlauf wird irgendwohin gesendet. Du kannst das überprüfen indem du den Netzwerk-Monitor öffnest und alle Verbindungen beobachtest. Das macht lokale KI ideal für: persönliche Texte, Verträge, Gesundheitsfragen, Geschäftsinterna — alles was nicht in die Cloud soll.

Lokale KI ist deutlich DSGVO-freundlicher als Cloud-Dienste, da keine Daten das Unternehmen verlassen. Für professionellen Einsatz mit persönlichen Daten (Kundendaten, Patientendaten) solltest du trotzdem eine rechtliche Prüfung durchführen lassen — aber das Grundproblem der Cloud-KI (Datenweitergabe an Drittanbieter) entfällt komplett. Wichtig: Auch die Modell-Gewichte selbst enthalten keine personenbezogenen Daten deiner Nutzer.

Bei lokalen Modellen: Nein. Das Modell ist eingefroren — es lernt nicht aus deinen Gesprächen. Jede Konversation startet von Null (außer dem Gesprächsverlauf im selben Chat). Das Modell-Gewicht auf deiner Festplatte ändert sich nicht durch deine Nutzung. Bei Cloud-KI (ChatGPT, Claude Free): Das hängt von den AGBs ab — viele verwenden Nutzerdaten für späteres Training wenn man nicht opt-out.

Im Heimnetzwerk (hinter Router/Firewall): ja. Öffentlich im Internet exponiert: nein, ohne zusätzliche Absicherung. Wenn du Open WebUI nur im lokalen Netzwerk nutzt (was der Normalfall ist), ist es sicher. Willst du von außen darauf zugreifen: VPN nutzen (z.B. Tailscale) statt den Port direkt ins Internet zu öffnen. Open WebUI hat auch eine eingebaute Benutzerverwaltung mit Passwort-Schutz.

Ollama sendet anonyme Telemetrie (welche Modelle werden genutzt, Fehlerberichte) — aber keine Inhalte deiner Konversationen. Diese Telemetrie kann deaktiviert werden: Umgebungsvariable OLLAMA_NOANALYTICS=1 setzen. Der Quellcode ist öffentlich auf GitHub — alles ist nachvollziehbar.