BlogTechnik · Stand 09.11.2026
Riesige Modelle, kleiner Rechner.
Große KI-Modelle bestehen heute oft aus Hunderten Experten, von denen pro Wort nur wenige rechnen. Zwei junge Open-Source-Projekte, Colibri und Strata, nutzen das aus: Sie lassen die ruhenden Experten auf der SSD und holen sie nur bei Bedarf. So laufen Modelle mit Hunderten Milliarden Parametern auf Hardware, die dafür eigentlich viel zu klein ist. Ein Prinzip, das an unser Gehirn erinnert.
- Stand
- 09.11.2026
- Lesezeit
- 11 Minuten
- Quellen
- Projektseiten
Nicht alles muss gleichzeitig im schnellen Speicher liegen
Bisher galt: Ein Modell muss komplett in den Grafikspeicher oder Arbeitsspeicher passen, sonst läuft es nicht. Bei Mixture-of-Experts-Modellen stimmt das nicht mehr. Wer nur die gerade gebrauchten Teile bereithält, kommt mit einem Bruchteil des Speichers aus und bezahlt dafür mit Tempo.
Mixture of Experts: viele Spezialisten, wenige im Einsatz
Ein MoE-Modell teilt einen großen Teil seines Wissens auf viele kleine Teilnetze auf, die Experten. Für jedes Wort entscheidet ein Router, welche wenigen Experten rechnen. Das Modell ist also riesig gespeichert, aber pro Wort nur klein im Einsatz. Deshalb sind MoE-Modelle schnell, und deshalb lässt sich der ruhende Teil auslagern.
Gespeichert gegen tatsächlich gerechnet
Parameter in Milliarden, pro Wort aktiv in Farbe
- GLM-5.240 von 744 · 5 %
- Qwen3.6-35B-A3B3 von 35 · 9 %
Heiße Experten oben, kalte auf der SSD
Beide Programme behandeln die Experten wie einen Lagerbestand: Was oft gebraucht wird, liegt griffbereit auf der Grafikkarte oder im Arbeitsspeicher. Alles andere bleibt auf der SSD und wird nur geholt, wenn der Router danach fragt.
Drei Speicherstufen, ein Modell
Balken: Anteil der Experten, der typischerweise in der Stufe liegt (vereinfacht)
- Grafikkarteheiß12–96 GB · sehr schnell
Dichte Schichten und die meistgenutzten Experten
- Arbeitsspeicherwarm32–256 GB · schnell
Dichte Schichten, Experten-Cache, zuletzt genutzte Experten
- NVMe-SSDkalt1–8 TB · langsamer
Alle Experten, gelesen nur bei Bedarf
↑ Befördern: Ein Experte, der oft gebraucht wird, wandert nach oben.
↓ Verdrängen: Der am längsten ungenutzte macht Platz (LRU).
Pro Schicht zwischenspeichern
Jede Schicht hat einen eigenen Cache. Der am längsten ungenutzte Experte macht Platz (LRU).
Aus Ihren Gesprächen lernen
Colibri speichert, welche Experten bei Ihnen oft drankommen, und hält diese dauerhaft im schnellen Speicher.
Vorausschauend laden
Ein Hilfsprozess errät die Experten der nächsten Schicht und liest sie schon, während die aktuelle rechnet.
Am Stück lesen
Die drei Gewichtsmatrizen eines Experten liegen hintereinander und werden mit einem einzigen Lesezugriff geholt.
Mehrere SSDs parallel
Liegt das Modell gespiegelt auf zwei NVMe-Laufwerken, steigt das Tempo, in Colibris Messung um 37,5 %.
| Colibri | Strata | |
|---|---|---|
| Ansatz | Werkbank für viele Modelle: von 35 Milliarden bis Frontier-Größe | Fertiges Paket mit Ein-Klick-Installation für Windows und Linux |
| Technik | Eine Engine in C, ohne Python zur Laufzeit | Eigene Inferenz-Engine, optional mit Bildeingabe |
| Hardware | Läuft auch ganz ohne Grafikkarte; CUDA und Vulkan optional | NVIDIA- und AMD-Grafikkarten, Apple Silicon für einzelne Modelle |
| Modelle | GLM-5.2/5.3, Kimi K3, DeepSeek V4 Flash, Qwen3.6, Qwen3.8-Flash-Next u. a. | Qwen3.8-Flash-Next, Qwen3.6-35B-A3B, DeepSeek V4.1 Flash |
| Schnittstelle | Eigene Oberfläche, Anbindung an Coding-Agenten in Arbeit | OpenAI- und Anthropic-kompatible API auf dem eigenen Rechner |
| Lizenz | Apache 2.0 | MIT |
Das Gehirn macht es schon lange so
Unser Gehirn denkt nicht mit allen Nervenzellen gleichzeitig. Es aktiviert nur, was gerade gebraucht wird, hält Wichtiges griffbereit und ahnt voraus, was als Nächstes kommt. Ausgelagerte Experten folgen erstaunlich ähnlichen Prinzipien.
Gehirn
MoE-Modell
- Sparsam rechnen
Gehirn: Von Milliarden Nervenzellen feuert zur selben Zeit nur ein kleiner Teil. Das Gehirn kommt so mit rund 20 Watt aus.
MoE: Pro Wort rechnet nur eine Handvoll Experten. Bei GLM-5.2 sind es etwa 40 von 744 Milliarden Parametern.
- Spezialisierung
Gehirn: Sprache, Sehen, Bewegung: Areale übernehmen bevorzugt bestimmte Aufgaben.
MoE: Ein Router schickt jedes Wort an die Experten, die dafür am besten passen.
- Kurz- und Langzeitgedächtnis
Gehirn: Das Arbeitsgedächtnis ist klein und schnell, das Langzeitgedächtnis riesig, aber Abrufen braucht Zeit.
MoE: Grafikkarte und RAM sind klein und schnell, die SSD fasst alles, liefert aber langsamer.
- Vorahnung
Gehirn: Das Gehirn sagt ständig voraus, was als Nächstes kommt, und hält passendes Wissen bereit (Priming).
MoE: Colibri errät die Experten der nächsten Schicht und lädt sie vorab. Bei GLM-5.2 klappt das in 71,6 % der Fälle.
- Gewohnheit
Gehirn: Was oft gebraucht wird, ist schneller abrufbar: Häufig genutzte Verbindungen werden gestärkt.
MoE: Colibri merkt sich, welche Experten in Ihren Gesprächen oft drankommen, und hält sie dauerhaft im schnellen Speicher.
Wo der Vergleich hinkt
Experten sind keine sauberen Fachabteilungen wie „Recht“ oder „Medizin“. Sie teilen sich die Arbeit oft nach Mustern in Sprache und Satzbau auf, und die Auswahl wechselt bei jedem Wort. Der größte Unterschied liegt aber woanders: Im Gehirn wird dort gerechnet, wo das Wissen gespeichert ist. Ein Computer muss die Gewichte erst von der SSD zur Grafikkarte kopieren. Genau dieser Transport ist der Flaschenhals, an dem Colibri und Strata arbeiten.
Von 0,05 bis über 100 Token pro Sekunde
Wie schnell ausgelagerte Modelle laufen, hängt vor allem davon ab, wie viel vom Modell in den schnellen Speicher passt. Ein 744-Milliarden-Modell auf einem Laptop schreibt ein Wort alle zehn bis zwanzig Sekunden. Ein mittelgroßes MoE auf einer guten Grafikkarte ist schneller, als man lesen kann.
Auffällig: Mit DeepSeek V4.1 Flash ist ein Rechner mit RTX 3060 (9 bis 11 Token/s) schneller als einer mit RTX 5070 und mehr RAM (4 bis 6 Token/s). Die Grafikkarte entscheidet hier kaum, denn beide haben 12 GB und vom 257-GB-Modell passt ohnehin nur ein kleiner Teil hinein. Den Rest holt Strata aus RAM und SSD, darunter eine 203 GB große Nachschlagetabelle, aus der für jedes Wort gelesen wird. Ob 46 oder 64 GB RAM, beide Rechner lesen das meiste von der SSD. Der 5070-Rechner hatte laut Strata eine eher langsame NVMe-SSD mit 3,6 GB/s; zur SSD des 3060-Rechners macht das Projekt keine Angabe. Bei diesen Modellen zählen also SSD, Prozessor und Arbeitsspeicher mehr als die Grafikkarte. Hinzu kommt: Es sind Einzelmessungen auf verschiedenen Rechnern mit nicht ganz gleichen Einstellungen.
Gemessenes Schreibtempo in Token pro Sekunde
Logarithmische Achse: jeder Strich ist zehnmal schneller als der vorige
GLM-5.2 · 744 Mrd.
Laptop, 25 GB RAM, Experten kalt
DeepSeek V4 Flash
Ryzen 7 5800X, 32 GB, nur CPU
GLM-5.2 · 744 Mrd.
Rechner mit RTX 5070 Ti
GLM-5.2 · 744 Mrd.
Ryzen AI Max+ 395, 128 GB, warm
DeepSeek V4.1 Flash · 257 GB
RTX 5070 (12 GB) + 64 GB RAM
DeepSeek V4.1 Flash · 257 GB
RTX 3060 (12 GB) + 46 GB RAM
DeepSeek V4.1 Flash · 257 GB
Ryzen AI Max+ 395, 128 GB
Qwen3.8-Flash-Next · 68 GB
RTX PRO 4000 (24 GB)
DeepSeek V4.1 Flash · 257 GB
4× Radeon AI PRO R9700
Qwen3.6-35B-A3B
RTX PRO 4000 (24 GB)
Was Colibri und Strata möglich machen
Beide Projekte sind wenige Monate alt und entwickeln sich schnell. Sie zeigen aber schon, wohin lokale KI sich bewegt: weg von der Frage „Passt das Modell?“, hin zu „Wie schnell muss die Antwort sein?“.
Frontier-Modelle im eigenen Büro
Modelle in der Größenordnung der großen Cloud-Anbieter laufen auf einem Rechner in der Kanzlei oder Praxis. Gutachten, Verträge und Patientendaten bleiben im Haus.
Große Auswertungen über Nacht
Bei 1–2 Token pro Sekunde schreibt ein 744-Milliarden-Modell rund 5.000 Token pro Stunde. Für Zusammenfassungen und Prüfberichte, die morgens fertig sein sollen, reicht das.
Große MoE-Modelle in Echtzeit
Mittelgroße MoE-Modelle wie Qwen3.8-Flash-Next (68 GB) laufen mit über 50 Token pro Sekunde auf einer einzelnen Workstation-Karte. Das ist flüssig genug für Chat und Programmierhilfe.
Modelle, die sich an Ihren Alltag anpassen
Weil der schnelle Speicher sich die oft genutzten Experten merkt, wird ein System für die Themen Ihres Betriebs schneller, ganz ohne Nachtraining.
Volle Modelle ohne Internet
Auf einem Laptop im Außendienst, auf der Baustelle oder in abgeschotteten Netzen von Behörden und Kliniken: Das Modell braucht keine Verbindung nach außen.
Skalieren mit SSDs statt Grafikkarten
Eine zweite NVMe-SSD brachte in Colibris Messung 37,5 % mehr Tempo. SSD-Speicher kostet einen Bruchteil von Grafikkartenspeicher.
Wo Sie mit Tempo und Qualität rechnen müssen
Ausgelagerte Experten tauschen Speicher gegen Zeit. Das ist für viele Aufgaben ein guter Tausch, aber nicht für alle. Diese Punkte sollten Sie kennen, bevor Sie ein großes Modell auf kleiner Hardware einplanen.
Agenten mit vielen Schritten
Ein Agent, der zwanzigmal nachdenkt, sucht und schreibt, multipliziert jede Wartezeit. Bei 1 Token pro Sekunde wird aus einer Minute schnell eine Stunde.
Lange Dokumente einlesen
Vor der ersten Antwort muss das Modell den ganzen Text lesen. Die Grafik „Wartezeit“ zeigt, was das bei langen Akten bedeutet.
Langer Kontext frisst Speicher
Der Zwischenspeicher für den Kontext wächst mit jeder Seite: bei GLM-5.3 rund 11,9 GB bei 131.000 Token. Dieser Platz fehlt dann den Experten, es muss öfter von der SSD geladen werden.
Themenwechsel und viele Nutzer
Neue Themen brauchen andere Experten, die erst geladen werden müssen. Arbeiten mehrere Personen gleichzeitig an verschiedenen Themen, verdrängen sie sich gegenseitig aus dem schnellen Speicher.
Starke Kompression kostet Qualität
Damit riesige Modelle überhaupt passen, werden sie oft auf 1,75 bis 3 Bit pro Gewicht verkleinert. Bei einfachen Texten fällt das kaum auf, bei komplexem Schlussfolgern und Bildern schon eher.
Platz und Tempo der SSD
Die Modelle belegen 250 bis 370 GB auf der SSD. Nur schnelle NVMe-Laufwerke sind geeignet, Festplatten scheiden aus. Colibri weist in der Anleitung auf den Verschleiß hin.
Wartezeit, bevor das erste Wort erscheint
Einlesen bei ~130 Token/s, wie von Strata auf 12-GB-Karten gemessen
- 4.000 Token≈ 6 Seiten32 s
- 16.000 Token≈ 25 Seiten2 min
- 32.000 Token≈ 50 Seiten4 min
- 64.000 Token≈ 100 Seiten8 min
- 128.000 Token≈ 200 Seiten17 min
Welche Aufgabe passt?
- Interner Chat, ProgrammierhilfeMittelgroßes MoE, z. B. 68 GB auf 24-GB-Kartepasst
- Dokumentensuche mit QuellenMittelgroßes MoE, kurze Textstellenpasst
- Gutachten, Berichte über NachtSehr großes Modell, 1–2 Token/spasst
- Ganze Akten (100+ Seiten) auf einmalGroßes Modell, langer Kontextbedingt
- Agenten mit vielen Werkzeug-SchrittenSehr großes Modelleher nicht
- Viele Nutzer gleichzeitigAusgelagerte Experten auf einem Rechnereher nicht
Was das für Ihren Betrieb heißt
Für den Alltag mit mehreren Nutzern bleibt ein Modell, das komplett in den schnellen Speicher passt, die verlässlichste Wahl. Ausgelagerte Experten erweitern die Möglichkeiten nach oben: ein deutlich größeres Modell auf derselben Hardware, für Aufgaben, bei denen Qualität wichtiger ist als Tempo.
Für das Team
Ein Modell, das vollständig auf die Grafikkarte passt, bedient viele Nutzer gleichzeitig und schnell.
Für schwere Fälle
Ein großes ausgelagertes Modell daneben übernimmt Gutachten und Auswertungen, gern über Nacht.
Zum Ausprobieren
Wer prüfen will, ob ein großes Modell bei den eigenen Aufgaben spürbar besser ist, kann das ohne neue Hardware testen.
Welche Hardware für welches Modell reicht, zeigt unser Hardware-Ratgeber, inklusive der Nacht-Box für große Modelle.
Großes Modell, eigene Hardware? Wir rechnen es durch.
Im kostenlosen Erstgespräch schauen wir auf Ihre Aufgaben und sagen ehrlich, ob ein ausgelagertes Großmodell, ein schnelles mittelgroßes Modell oder eine Kombination aus beiden passt.
Erstgespräch vereinbarenQuellen
- Colibri, Projektseite und Messwerte: github.com/JustVugg/colibri
- Strata, Projektseite und Messwerte: github.com/Niko1221/Strata
- Strata, Architektur (inoffizielle Community-Dokumentation): stratallm.org
Beide Projekte sind jung und ändern sich schnell. Messwerte sind Angaben der Projekte, nicht von uns nachgemessen.