Klasyczny model językowy przy każdym słowie przepuszcza dane przez wszystkie swoje parametry. Im większy model, tym więcej obliczeń na każde słowo i tym droższa każda odpowiedź.
Pomysł: kilku specjalistów zamiast jednego omnibusa
W architekturze mieszanki ekspertów model jest podzielony na wiele mniejszych sieci, zwanych ekspertami. Przy każdym kolejnym fragmencie tekstu niewielki komponent nazywany routerem decyduje, którzy eksperci mają się nim zająć - zwykle dwóch albo czterech z kilkudziesięciu dostępnych. Reszta pozostaje bezczynna.
Efekt: model ma dużą pojemność wiedzy, ale koszt pojedynczej odpowiedzi odpowiada modelowi kilkukrotnie mniejszemu. Pamięć karty graficznej musi pomieścić wszystkich ekspertów, natomiast liczba obliczeń zależy tylko od tych aktywnych.
Co to znaczy dla wdrożenia
- przy tym samym budżecie na karty graficzne dostajesz wyższą jakość odpowiedzi;
- więcej osób może korzystać z systemu równocześnie, bo każde zapytanie zużywa mniej mocy;
- kluczowym ograniczeniem staje się pamięć kart, a nie ich surowa wydajność, i to ona decyduje o doborze sprzętu.
Czego to nie załatwia
Mieszanka ekspertów nie czyni modelu mądrzejszym w dziedzinie, której nie widział podczas treningu, i nie zwalnia z dostarczenia mu aktualnych danych. Do tego służy wyszukiwanie w dokumentach organizacji, opisane w osobnym artykule.