Google Labs a annoncé une mise à jour majeure de son outil d’IA Gemini Pro – le modèle d’IA de taille moyenne qui alimente la version gratuite de son chatbot – en introduisant la capacité de traiter jusqu’à 1 million de tokens en avant-première. Il offre une « taille de contexte » sans précédent qui laisse les principaux outils actuels et leur capacité de 128K dans la poussière.
La mise à niveau vers Gemini Pro v1.5 le rend théoriquement 700 % plus puissant que le modèle GPT-4 payant d’OpenAI, et établit une nouvelle référence pour la linguistique informatique et l’apprentissage automatique parmi les grands modèles de langage (LLM).
Selon Google, il s’agit de « la plus longue fenêtre contextuelle de tous les modèles de fondation à grande échelle ».
« Avant aujourd’hui, la plus grande fenêtre contextuelle au monde pour un grand modèle de langage accessible au public était de 200 000 tokens. Nous avons été en mesure d’augmenter considérablement ce chiffre, en allant jusqu’à 1 million de jetons de manière constante », a déclaré l’équipe de Google Labs.
Avec cette fonctionnalité, Gemini Pro serait plus performant que la version la plus puissante de la gamme Gemini actuelle et que n’importe quel autre LLM actuellement disponible. Cependant, ce contexte a été mis en ligne à des fins de test, alors que la prochaine version stable de Gemini Pro gérera jusqu’à 128 000 jetons.
Bien que cette version constitue une amélioration majeure par rapport aux 32 000 jetons que Gemini 1.0 peut traiter, les utilisateurs devront attendre de voir ce qu’un million de jetons peut faire.
Il s’agit de la dernière offensive de Google dans la course à la domination de l’industrie de l’IA. La semaine dernière, Gemini Advanced est devenu le premier concurrent crédible de ChatGPT Plus. Contrairement au Claude d’Anthropic, le chatbot de Google est multimodal, fournit de bons résultats dans différents tests et offre un ensemble de fonctionnalités qu’OpenAI ne possède pas.
Gemini Advanced devra toutefois rattraper GPT-4.5 Turbo, qui gère déjà 128 000 jetons.
La polyvalence de Gemini 1.5 a été mise en évidence par plusieurs démonstrations. Google a déclaré qu’il « peut traiter de grandes quantités d’informations en une seule fois, y compris une heure de vidéo, 11 heures d’audio, des bases de code de plus de 30 000 lignes de code ou plus de 700 000 mots ».
« Dans le cadre de nos recherches, nous avons également testé avec succès jusqu’à 10 millions de tokens », ajoute l’équipe.
Un défaut : Les modèles Gemini ne peuvent pas analyser les fichiers PDF, un défaut que TCN a souligné dans sa comparaison entre Gemini et ChatGPT.
Le « mélange d’experts » est là pour rester
Une autre différence entre Gemini 1.5 et ses versions précédentes est l’utilisation du mélange d’experts, la même technologie que Mistral AI a utilisée pour créer son modèle plus léger. Le nouveau modèle de Mistral était suffisamment puissant pour battre GPT 3.5 et se hisser aux échelons supérieurs des meilleurs LLM open-source.
(Mixture of Experts) achemine votre requête vers un groupe de réseaux neuronaux « experts » plus petits afin que les réponses soient plus rapides et de meilleure qualité », a déclaré Google dans son annonce, précisant que cela garantit que les réponses sont non seulement plus rapides, mais aussi de meilleure qualité.
À l’instar de Mistral, Google a réussi à faire briller son modèle. Gemini 1.5 Pro a montré des performances supérieures à celles de Gemini Ultra 1.0 dans plusieurs tests de référence, ce qui laisse présager un avenir prometteur pour les LLM de Google.
« Il montre des améliorations spectaculaires dans un certain nombre de dimensions et 1.5 Pro atteint une qualité comparable à 1.0 Ultra, tout en utilisant moins de calcul », a déclaré Sundar Pichai, PDG de Google, dans un billet de blog aujourd’hui.
L’annonce n’a pas fourni de calendrier pour la sortie de Gemini Advanced 1.5. Entre-temps, OpenAI développe activement GPT-5. Les capacités améliorées de Gemini en matière de traitement des jetons contribueront à renforcer la position de Google dans la course aux armements de l’IA.
