Microsoft Research a annoncé la sortie de Phi-2, un petit modèle de langage (SLM) démontrant des capacités remarquables pour sa taille. Lancé aujourd’hui, le modèle a été révélé pour la première fois lors de l’événement Ignite 2023 de Microsoft, au cours duquel Satya Nadella a souligné sa capacité à atteindre des performances de pointe avec une fraction des données d’entraînement.
Contrairement à GPT, Gemini et d’autres grands modèles de langage (LLM), un SLM est formé sur un ensemble de données limité, utilisant moins de paramètres mais nécessitant également moins de calculs pour s’exécuter. Par conséquent, le modèle ne peut pas généraliser autant qu’un grand modèle de langage, mais il peut être très bon et efficace pour des tâches spécifiques, comme les mathématiques et les calculs dans le cas de Phi.
Phi-2, avec ses 2,7 milliards de paramètres, fait preuve d’un bon raisonnement et d’une bonne compréhension du langage, rivalisant avec des modèles jusqu’à 25 fois plus grands, selon Microsoft. Cela s’explique par l’accent mis par Microsoft Research sur des données d’entraînement de haute qualité et des techniques de mise à l’échelle avancées, ce qui a permis d’obtenir un modèle plus performant que ses prédécesseurs dans divers domaines, notamment les mathématiques, le codage et le raisonnement de bon sens.
« Avec seulement 2,7 milliards de paramètres, Phi-2 surpasse les performances des modèles Mistral et Llama-2 à 7 et 13 milliards de paramètres sur divers critères de référence agrégés », a déclaré Microsoft, lançant un coup bas au nouveau modèle d’IA de Google : « En outre, Phi-2 égale ou surpasse le Google Gemini Nano 2 récemment annoncé, bien qu’il soit plus petit en taille. «
Source : Microsoft
Gemini Nano 2 est le dernier pari de Google sur un LLM multimodal capable de fonctionner localement. Il a été annoncé comme faisant partie de la famille Gemini de LLM qui devrait remplacer PaLM-2 dans la plupart des services de Google.
L’approche de Microsoft en matière d’IA va toutefois au-delà du développement de modèles. L’introduction de puces personnalisées, Maia et Cobalt, comme le rapporte TCN, montre que l’entreprise s’oriente vers une intégration complète de l’IA et de l’informatique en nuage. Les puces informatiques, optimisées pour les tâches d’IA, soutiennent la vision plus large de Microsoft d’harmoniser les capacités matérielles et logicielles et sont en concurrence directe avec Google Tensor et les nouvelles puces de la série M d’Apple.
Il est important de noter que Phi-2 est un modèle de langage si petit qu’il peut être exécuté localement sur des équipements de bas niveau, même potentiellement sur des smartphones, ce qui ouvre la voie à de nouvelles applications et de nouveaux cas d’utilisation.
Alors que Phi-2 entre dans le domaine de la recherche et du développement de l’IA, sa disponibilité dans le catalogue de modèles d’Azure AI Studio est également un pas vers la démocratisation de la recherche sur l’IA. Microsoft est l’une des entreprises les plus actives dans le développement de l’IA en open source.
Alors que le paysage de l’IA continue d’évoluer, le Phi-2 de Microsoft est la preuve que le monde de l’IA ne consiste pas toujours à voir plus grand. Parfois, la plus grande puissance réside dans le fait d’être plus petit et plus intelligent.
