Lors d’un événement de haut niveau sur l’IA à Londres, les dirigeants de Meta ont fourni mardi la première confirmation officielle et des détails sur la sortie imminente de Llama 3, la prochaine itération très attendue du modèle de langage large open-source de l’entreprise.
« D’ici un mois, voire moins, nous espérons commencer à déployer notre nouvelle suite de modèles de base de nouvelle génération, Llama 3 », a annoncé Nick Clegg, président des affaires internationales de Meta, lors du Meta AI Day à Londres, rapporte TechCrunch.
Clegg a déclaré que Llama 3 consiste en « un certain nombre de modèles différents avec des capacités différentes, des polyvalence différentes » qui commenceront à être déployés au cours de cette année.
Une fois lancé, Llama 3 devrait être le modèle open-source le plus avancé disponible, Meta investissant massivement dans son développement. Le modèle a été entraîné avec 140 milliards de paramètres, selon Meta, soit le double de la capacité de Llama 2. Le PDG de Meta, Mark Zuckerburg, avait donné quelques détails techniques en janvier.
« Nous construisons une infrastructure de calcul massive pour soutenir notre future feuille de route, y compris 350 000 H100 d’ici la fin de l’année – et au total près de 600 000 équivalents H100 de calcul si vous incluez d’autres GPU », avait déclaré Zuckerberg à l’époque. Cette puissance de calcul est nettement supérieure à celle utilisée par OpenAI pour entraîner GPT-4, qui nécessiterait environ 25 000 GPU en 90 à 100 jours.
Zuckerberg a également révélé que Meta AI, son assistant d’intelligence artificielle, sera alimenté par Llama 3.
Chris Cox, Chief Product Officer, a déclaré que Llama 3 serait intégré dans Meta.
« Notre objectif est de faire en sorte que Llama 3 alimente plusieurs produits et expériences différents dans notre famille d’applications », a-t-il déclaré.
La stratégie open-source
L’impact de la sortie de Llama 3 va bien au-delà de Meta, étant donné l’engagement philosophique de l’entreprise à le développer en tant que modèle open-source, ce qui contraste clairement avec l’approche fermée et propriétaire adoptée par des rivaux tels qu’OpenAI avec ChatGPT.
En ouvrant ses modèles de langage, Meta vise à alimenter un écosystème de développement d’IA ouvert et à positionner la famille Llama comme la base d’une gamme variée d’outils et d’applications créés par des développeurs et des chercheurs tiers.
« Il est très important de réaliser que les innovations reposent toujours sur des contributions antérieures d’autres personnes, parfois très similaires », a tweeté Yann LeCun, responsable de la recherche en IA chez Meta, le mois dernier. « C’est la raison pour laquelle la recherche ouverte est si importante : elle permet à tout le monde de progresser plus rapidement dans ce domaine. «
De loin, on a l’impression que les innovations surgissent spontanément du vide.
Mais il est très important de comprendre que les innovations s’appuient toujours sur des contributions antérieures d’autres personnes, parfois très similaires.
C’est pourquoi la recherche ouverte est si importante : elle rend le domaine… https://t.co/JMvQD2h5OZ– Yann LeCun (@ylecun) Le 20 mars 2024
Cette philosophie d’ouverture a déjà donné naissance à une communauté dynamique qui s’est ralliée au projet Llama. Certains des modèles de langue open-source les plus avancés aujourd’hui, tels que Mistral, Falcon et Beluga, sont construits en affinant le modèle de base Llama 2. Plusieurs de ces modèles communautaires ont égalé ou dépassé le modèle GPT-3.5 sur certains points de référence.
La publication de Llama-3 en tant qu’autre modèle de base open-source ouvre probablement la voie à une nouvelle génération de LLM qui placera la barre encore plus haut en termes de qualité et d’efficacité dans l’IA.
Eh, je pense que l’open source va égaler ou battre cette année. pic.twitter.com/y99qKJ2iKF
– Ryan Casey (@ryansweb) Le 1er janvier 2024
Défier la domination d’OpenAI
Le principe du logiciel libre du Llama 3 représente un défi formidable et à plusieurs niveaux pour la domination actuelle d’OpenAI sur le marché et, par extension, pour d’autres modèles propriétaires comme Claude et Gemini.
La communauté des logiciels libres sera bientôt en mesure de s’appuyer sur le Llama 3 et d’itérer rapidement ses variations pour égaler ou dépasser les capacités du GPT-4, tout comme elle l’a fait pour le GPT-3.5. Avec des coûts de formation plus faibles partagés entre les contributeurs, l’écosystème ouvert pourrait devancer le développement du modèle propriétaire d’OpenAI, qui nécessite d’immenses ressources et coûts de calcul.
Si les offres open-source atteignent régulièrement la parité avec les offres commerciales, les entreprises pourraient se tourner vers des écosystèmes plus accessibles et plus rentables comme Llama plutôt que de dépendre d’OpenAI et de payer pour elle. Actuellement, le GPT-4 est le modèle le plus cher du marché en termes de coût par jeton.
De plus, la communauté open-source se renforce au fur et à mesure que les gens s’y impliquent. Meta bénéficie d’une énorme communauté qui construit sur le modèle, le peaufine, développe de nouvelles technologies et l’améliore gratuitement. Il est ainsi plus facile pour Meta de développer de meilleures versions de son modèle tout en le monétisant grâce à des systèmes alternatifs tels que l’octroi de licences pour une utilisation commerciale par de grandes industries.
En d’autres termes, l’inertie persistante et les effets de réseau pourraient faire en sorte qu’il soit plus difficile pour les modèles propriétaires de l’OpenAI d’attirer des utilisateurs et des clients à l’avenir.
Certes, OpenAI détient actuellement une forte avance en termes de rentabilité. Anthropic peut se targuer d’avoir le LLM le plus performant dans le domaine de l’IA. Mais Llama 3 représentera une nouvelle attaque stratégique de Meta pour bouleverser le paysage de l’IA générative.
Bien entendu, tout dépendra des performances réelles de Llama 3 et de son adoption au cours de l’année à venir. Mais la communauté de l’IA open-source est très active et adore déjà Llama-2. Les choses vont devenir très intéressantes au cours des prochains mois, en particulier avec le GPT-5 d’OpenAI qui se profile à l’horizon.
