Un modèle de langue classique fait passer chaque mot par l'ensemble de ses paramètres. Plus le modèle est grand, plus le calcul par mot est lourd et plus chaque réponse coûte cher.
L'idée : plusieurs spécialistes plutôt qu'un touche-à-tout
Dans une architecture à mélange d'experts, le modèle est découpé en nombreux réseaux plus petits appelés experts. Pour chaque fragment de texte, un composant léger, le routeur, décide quels experts s'en chargent - en général deux ou quatre sur plusieurs dizaines. Les autres restent inactifs.
Résultat : le modèle conserve une vaste mémoire, mais le coût d'une réponse équivaut à celui d'un modèle plusieurs fois plus petit. La mémoire de la carte graphique doit loger tous les experts, alors que le volume de calcul ne dépend que des experts actifs.
Ce que cela change pour un déploiement
- à budget de cartes graphiques constant, vous obtenez de meilleures réponses ;
- plus de personnes travaillent en parallèle, chaque requête consommant moins de puissance ;
- c'est la mémoire, et non la vitesse brute, qui devient la contrainte - et elle dicte le choix du matériel.
Ce que cela ne règle pas
Le mélange d'experts ne rend pas un modèle plus savant dans un domaine qu'il n'a jamais vu à l'entraînement et ne dispense pas de lui fournir des données à jour. C'est le rôle de la recherche dans les documents de votre organisation, traitée dans un autre article.