Ein klassisches Sprachmodell schickt jedes Wort durch sämtliche Parameter. Je größer das Modell, desto mehr Rechenarbeit pro Wort und desto teurer jede Antwort.
Die Idee: mehrere Fachleute statt eines Alleskönners
In einer Mixture-of-Experts-Architektur ist das Modell in viele kleinere Netze aufgeteilt, die Experten genannt werden. Für jeden Textabschnitt entscheidet ein kleiner Baustein, der Router, welche Experten ihn bearbeiten - meist zwei oder vier von mehreren Dutzend. Der Rest bleibt untätig.
Das Ergebnis: Das Modell hält viel Wissen bereit, doch die Kosten einer einzelnen Antwort entsprechen einem mehrfach kleineren Modell. Der Speicher der Grafikkarte muss alle Experten fassen, die Rechenmenge hängt nur von den aktiven ab.
Was das für eine Einführung bedeutet
- bei gleichem Budget für Grafikkarten bekommen Sie bessere Antworten;
- mehr Menschen können gleichzeitig arbeiten, weil jede Anfrage weniger Rechenleistung braucht;
- nicht die rohe Geschwindigkeit, sondern der Speicher wird zur bindenden Grenze - und er bestimmt die Wahl der Hardware.
Was es nicht löst
Mixture of Experts macht ein Modell nicht klüger in einem Feld, das es im Training nie gesehen hat, und ersetzt keine aktuellen Daten. Dafür gibt es die Suche in den Dokumenten Ihrer Organisation, beschrieben in einem eigenen Beitrag.