Lokale KI-Agenten auf 16 GB: Was Gemma 4 QAT für deutsche Unternehmen bedeutet

Lokale KI-Agenten auf 16 GB: Was Gemma 4 QAT für deutsche Unternehmen bedeutet

Google hat am 5. Juni 2026 etwas ausgeliefert, das die Spielregeln für lokale KI-Agenten neu schreibt: Gemma 4 in einer Variante mit Quantization-Aware Training (QAT). Die Modelle benötigen rund 72 Prozent weniger Speicher als die volle Präzision, halten dabei aber annähernd die Qualität der Originalgewichte. Konkret heißt das: Ein 26B-Modell, das vorher nicht auf einen 16-GB-Laptop passte, läuft jetzt dort. Der kleinste Vertreter E2B schrumpft im mobilen Format auf etwa 1 GB. Damit ist der Punkt erreicht, an dem lokale KI-Agenten auf Standard-Hardware laufen, ohne Cloud-Anbindung, ohne API-Kosten und ohne Daten das Haus zu verlassen.

Warum Quantization-Aware Training den Unterschied macht

Die meisten Anwender kennen Post-Training-Quantization: Ein Modell wird in voller Präzision trainiert, anschließend werden die Gewichte auf 4 Bit gerundet. Das spart Speicher, kostet aber Qualität, weil das Modell nie gelernt hat, mit der Rundung umzugehen. Die Fehler summieren sich über Dutzende Transformer-Layer.

QAT geht den umgekehrten Weg: Die Quantisierung wird direkt in den Trainingsprozess eingebaut. Das Modell lernt Gewichte, die die spätere Kompression aushalten. Google gibt an, dass die 4-Bit-Variante dadurch deutlich näher an die Qualität des vollen Modells herankommt als eine naive PTQ-Konvertierung. In der Praxis bedeutet das: Weniger Halluzinationen, verlässlichere Tool-Aufrufe, bessere Eignung für mehrstufige Agenten-Workflows.

Das QAT-Release besteht aus vier Formaten, die jeweils auf eine andere Zielumgebung zugeschnitten sind:

Wer einen Laptop oder Desktop betreibt, wählt GGUF. Wer viele parallele Anfragen auf einem Server bedienen muss, fährt mit w4a16 über vLLM oder SGLang besser. Für mobile Endgeräte oder Edge-Setups ist das neue mobile Format gedacht.

Welches Modell passt zu welcher Hardware?

Die QAT-Modelle teilen sich in fünf Größenklassen auf, deren Speicherbedarf sich an gängigen Geräten orientiert:

• E2B (dicht, ~3 GB, mobil ~1 GB): Läuft auf Telefonen, Raspberry Pi 5 und einfachen Laptops. Geeignet für Transkription, Zusammenfassungen, Klassifikation, einfache Chats.
• E4B (dicht, ~5 GB): 8-GB-Laptops, einfache GPUs. Solide Alltagsqualität.
• 12B (dicht, ~7 GB, 256K Kontext): Der komfortable Allrounder für 16-GB-Macs und 8-bis-12-GB-GPUs. Multimodal, encoder-frei, deckt die meisten Agenten-Workloads ab.
• 26B-A4B (Mixture of Experts, ~15 GB, 256K Kontext): Aktiviert nur 3,8B Parameter pro Token. Läuft gefühlt wie ein 4B-Modell, argumentiert aber deutlich besser. Der eigentliche QAT-Durchbruch.
• 31B (dicht, ~18 GB, 256K Kontext): Maximale Genauigkeit für anspruchsvolle Reasoning- und Coding-Aufgaben. Braucht 24-GB-GPU oder 32-GB-Mac.

Wichtig: Die Speicherangaben gelten für moderate Kontextlängen. Wer das volle 256K-Fenster ausreizt, plant zusätzlichen KV-Cache ein. Für 16-GB-Maschinen empfiehlt sich in der Praxis ein 12B-Modell mit reduziertem Kontext oder der 26B-A4B bei kurzen bis mittleren Kontexten.

Drei Szenarien, die jetzt realistisch werden

1. Datenschutzkonformer Kundenservice-Agent. Ein 12B-Modell läuft auf einem firmeneigenen Server. Kundendaten, Vertragsinformationen und interne Wissensdatenbanken verlassen das Haus nicht. Der Agent beantwortet 70 bis 80 Prozent der Standardanfragen, ein Mensch prüft sensible Vorgänge. Die laufenden Kosten sinken auf reinen Stromverbrauch; Lizenzkosten entfallen komplett.

2. Branchenspezifische Werkstatt auf Edge-Hardware. Ein SHK-Betrieb installiert einen Mini-PC oder ein SolidRun-Board an der Werkbank. Der lokale Agent hilft bei der Materialrecherche, schlägt Lösungsvorschläge zu typischen Installationsproblemen vor und übersetzt Kundenanfragen in mehrere Sprachen. Funktioniert auch offline, wenn das WLAN auf der Baustelle ausfällt.

3. Compliance-konformer Wissensassistent für Steuerberater und Kanzleien. Mandantenbezogene Daten sind hochsensibel. Ein 26B-A4B läuft auf einer 16-GB-Workstation und durchsucht den Mandantenbestand, ohne dass ein Token an externe Anbieter fließt. Audit-Trail und Datenhoheit bleiben im Haus.

Praktischer Einstieg in zehn Minuten

Wer heute mit Ollama starten will, braucht drei Befehle:

1. Ollama installieren (macOS: brew install ollama; Linux: curl -fsSL https://ollama.com/install.sh | sh).
2. Modell pullen: ollama pull gemma4:26b-it-qat (für 16-GB-Maschinen) oder gemma4:e4b-it-qat (für Laptops).
3. Testen: ollama run gemma4:26b-it-qat "Erkläre QAT in einem Satz." und die API-Verfügbarkeit mit curl http://localhost:11434/api/tags prüfen.

Empfohlene Sampling-Werte: temperature 1.0, top_p 0.95, top_k 64. Diese Werte übernehmen die Voreinstellungen der vollen Modelle; QAT ändert daran nichts.

Der Stolperstein, den jeder kennen sollte

Wer die QAT-Checkpoints in llama.cpp oder Ollama nutzt, sollte nicht zu naiven Q4_0-Konvertierungen greifen. Unsloth misst in internen Tests nur etwa 25 Prozent Byte-Genauigkeit zwischen llama.cpp-Q4_0 und den echten QAT-Gewichten. Die Modelle verlieren dadurch messbar an Qualität.

Die Lösung: Unsloths dynamische GGUFs (UD-Q4_K_XL). Sie erzwingen eine bessere Übereinstimmung zwischen dem llama.cpp-Format und den QAT-Gewichten. Die Genauigkeitsgewinne sind signifikant: Das 26B-A4B-Modell steigt von 70,2 auf 85,6 Prozent Top-1, das 31B-Modell von 87,9 auf 96,7 Prozent. Wer auf llama.cpp oder Ollama setzt, sollte konsequent zu den Unsloth-Dateien greifen.

Was bleibt von der Cloud?

Die Frage ist nicht Cloud versus lokal, sondern welche Workloads wo laufen. Lokale Modelle glänzen bei datensensiblen Aufgaben, im Edge-Bereich und überall dort, wo Latenz oder Verfügbarkeit kritisch sind. Cloud-APIs spielen ihre Stärke weiterhin bei sehr großen Kontexten, seltenen Spezialfällen und bei Aufgaben aus, die Frontier-Modelle erfordern. Ein pragmatischer Stack kombiniert beides: Ein lokales 12B oder 26B-A4B für Standardaufgaben, ein Cloud-Modell als Fallback für die schwierigen fünf Prozent der Fälle.

Die QAT-Veröffentlichung verschiebt die Wirtschaftlichkeit vieler Anwendungen grundlegend. Was vorher einen dedizierten GPU-Server mit 80 GB VRAM erforderte, läuft jetzt auf einem Büro-Laptop. Für KMU, Handwerksbetriebe und Berufsgeheimnisträger ist das die spannendste KI-Entwicklung des Jahres. Wer in den nächsten drei Monaten ein lokales Modell produktiv in Betrieb nimmt, verschafft sich einen Datenschutzvorsprung, der sich in Ausschreibungen, Audits und Kundenvertrauen direkt auszahlt.

Der Code zum Ausprobieren steht bereit. Was fehlt, ist nur der erste Schritt.