Les passionnés d’intelligence artificielle préfèrent travailler avec des outils open-source plutôt qu’avec des outils commerciaux propriétaires, selon une enquête en cours menée auprès de plus de 100 000 répondants.
L’émergence du Mixtral 8x7B de Mistral AI, un modèle open-source, a eu un impact significatif dans l’espace de l’IA. Léger et puissant, TCN l’a désigné parmi les meilleurs LLM de 2023. Mixtral a attiré beaucoup d’attention pour ses performances remarquables dans divers tests de référence, en particulier Chatbot Arena, qui offre une approche unique centrée sur l’humain pour évaluer les LLM.
Les classements de Chatbot Arena, une liste de crowdsourcing, s’appuient sur plus de 130 000 votes d’utilisateurs pour calculer les notes Elo des modèles d’IA. Par rapport à d’autres méthodes qui tentent de normaliser les résultats pour les rendre plus objectifs, l’arène opte pour une approche plus « humaine », en demandant aux gens de choisir à l’aveugle entre deux réponses fournies par des LLMS non identifiés. Ces réponses peuvent sembler non conventionnelles selon certaines normes, mais elles peuvent être évaluées intuitivement par des utilisateurs humains réels.
Mixtral a une position impressionnante, dépassant des géants de l’industrie comme Claude 2.1 d’Anthropíc, GPT-3.5 d’OpenAI, qui alimente la version gratuite de ChatGPT, et Gemini de Google, un LLM multimodal qui a été vendu comme le chatbot le plus puissant pour défier la domination de GPT-4.
Classement de Chatbot Arena. Le LLM de Mistral AI occupe la 6e place de la liste. Image : Huggingface
L’un des différentiateurs notables de Mixtral est d’être le seul LLM open-source dans le top 10 de Chatbot Arena. Cette distinction n’est pas seulement une question de classement ; elle représente un changement significatif dans l’industrie de l’IA vers des modèles plus accessibles et dirigés par la communauté. Comme le rapporte TCN, Mistral AI a déclaré que son modèle « surpasse LlaMA 2 70B sur la plupart des benchmarks avec une inférence 6x plus rapide et correspond ou surpasse GPT 3.5 sur la plupart des benchmarks standard », comme MMLU, Arc-C ou GSM.
Le secret de la réussite de Mixtral réside dans son architecture « Mixture of Experts » (MoE). Cette technique utilise plusieurs modèles d’experts virtuels, chacun spécialisé dans un sujet ou un domaine distinct. Lorsqu’elle est confrontée à un problème, Mixtral sélectionne les experts les plus pertinents de son pool, ce qui permet d’obtenir des résultats plus précis et plus efficaces.
À chaque couche, pour chaque jeton, un réseau de routeurs choisit deux de ces groupes (les « experts ») pour traiter le jeton et combiner leurs résultats de manière additive », explique Mistral dans l’article récemment publié par le LLM. « Cette technique permet d’augmenter le nombre de paramètres d’un modèle tout en contrôlant le coût et la latence, car le modèle n’utilise qu’une fraction de l’ensemble des paramètres par jeton.
En outre, Mixtral se distingue par ses compétences multilingues. Le modèle excelle dans des langues telles que le français, l’allemand, l’espagnol, l’italien et l’anglais, ce qui témoigne de sa polyvalence et de son vaste potentiel. Son caractère open-source, sous licence Apache 2.0, permet aux développeurs d’explorer, de modifier et d’améliorer librement le modèle, favorisant ainsi un environnement collaboratif et innovant.
Le succès de Mixtral n’est manifestement pas qu’une question de prouesse technologique ; il marque une petite mais importante victoire pour la communauté de l’IA à code source ouvert. Peut-être que dans un avenir pas si lointain, la question ne sera pas de savoir quel modèle est apparu en premier, ou lequel a le plus de paramètres ou de capacités contextuelles, mais lequel résonne vraiment avec les gens.
