Un modello linguistico classico fa passare ogni parola attraverso tutti i suoi parametri. Più il modello è grande, più calcolo serve per ogni parola e più costa ogni risposta.
L'idea: più specialisti invece di un tuttofare
In un'architettura a miscela di esperti il modello è diviso in molte reti più piccole chiamate esperti. Per ogni frammento di testo un componente leggero, il router, decide quali esperti se ne occupano: di solito due o quattro su diverse decine. Gli altri restano inattivi.
Il risultato: il modello conserva molta conoscenza, ma il costo di una singola risposta equivale a quello di un modello diverse volte più piccolo. La memoria della scheda grafica deve contenere tutti gli esperti, mentre la quantità di calcolo dipende solo da quelli attivi.
Che cosa significa per un'installazione
- a parità di spesa in schede grafiche ottenete risposte migliori;
- più persone lavorano contemporaneamente, perché ogni richiesta consuma meno potenza;
- il limite reale diventa la memoria e non la velocità pura, ed è questa a guidare la scelta dell'hardware.
Che cosa non risolve
La miscela di esperti non rende un modello più esperto in un campo che non ha mai visto in addestramento e non sostituisce dati aggiornati. A questo serve la ricerca nei documenti della vostra organizzazione, trattata in un altro articolo.