Les modèles d’intelligence artificielle décentralisés et open-source peuvent-ils concurrencer les modèles propriétaires bien financés comme le puissant GPT-4 d’OpenAI ? Cette question fréquemment posée a suscité un débat animé sur Twitter après qu’un ancien chercheur en intelligence artificielle de Google a choisi son camp.
Arnaud Benard, cofondateur de Galileo AI, a jeté le gant en déclarant : « Si vous pensez que les modèles open-source vont battre GPT-4 cette année, vous vous trompez ». Il a cité le talent et les ressources d’OpenAI et la nature robuste de GPT-4 en tant que produit au-delà d’un LLM, et a affirmé que les projets open-source pourraient avoir du mal à passer du statut de challengers à celui de champions de l’IA.
Si vous pensez que les modèles open-source battront le gpt-4 cette année, vous vous trompez.
J’ai travaillé dans les meilleurs laboratoires de recherche en informatique (google ai) et j’ai construit des bibliothèques open-source avec plus de 5 millions de téléchargements mensuels.
Le gpt-4 a un an et jusqu’à présent, aucun modèle ne l’a égalé, voici pourquoi :
1. le talent – openai a recruté…
– Arnaud Benard (@arnaudai) Le 1er janvier 2024
Il n’est pas surprenant que le tweet de M. Benard ait suscité des réactions mitigées, allant d’un soutien véhément à un désaccord farouche.
Ryan Casey, un passionné d’IA qui écrit la lettre d’information « Beyond The Yellow Woods », s’est montré plus optimiste quant au potentiel de l’IA open-source, déclarant que « l’open source égalera ou battra [les modèles privés] cette année », d’après ses calculs. « S’il y a une demande, il y aura de l’innovation. «
Eh, je pense que l’open source sera égal ou supérieur à cette année. pic.twitter.com/y99qKJ2iKF
– Ryan Casey (@ryansweb) Le 1er janvier 2024
D’un autre côté, Jeremi Traguna, stratège en IA, a fait remarquer que « les modèles d’OpenAI ne cessent de bouger », ajoutant que « les modèles open source auront du mal à rester à la hauteur pour atteindre une cible en mouvement au moment où la cible est en position d’être atteinte ». En d’autres termes, alors que les modèles open source pourraient rattraper le GPT-3.5 à l’ère du GPT-4, il pourrait y avoir un GPT-5 au moment où nous aurons des LLM généralistes comparables au GPT-4.5 Turbo.
Jon Howells, analyste technique, estime que les ressources ne sont pas le seul critère permettant de distinguer les LLM à source ouverte des LLM à source fermée.
« Mistral dispose d’un financement important, d’une équipe formidable et a récemment mis sur le marché un modèle open-source GPT-3.5 performant », écrit-il. « Mistral ou une entreprise similaire sortira un modèle open-source de niveau GPT-4 d’ici la fin de l’année.
Mistral AI, une startup française, s’est fait connaître après avoir publié son Mixtral LLM, qui offre de meilleures performances que le GPT-3.5 dans de nombreux cas d’utilisation.
Dans un fil de discussion, le cofondateur de Nous Research, « Teknium », a soulevé un point important, mais philosophique. « Chaque augmentation de capacité de l’OS (Open Source) est une chose permanente qui ne peut jamais être retirée du monde et qui peut être utilisée de manière fiable pour toujours », a-t-il déclaré. En gros, tant qu’il y aura des progrès dans la technologie d’IA open source, aucune entreprise ne pourra en restreindre l’accès.
J’ai introduit together et mistral, aucune des parties n’est fâchée à ce sujet fwiw. Mais dans ce post, il a dit qu’aucun modèle d’OS ne battra le GPT-4, mais que le GPT-4 sera une vieille nouvelle – probablement cette année – il ne nous a pas fallu longtemps pour battre le 3.5, et le PDG de Mistral a dit qu’il prévoyait de sortir un Open de niveau GPT4…
– Teknium (e/λ) (@Teknium1) January 1, 2024
Ouverte ou fermée ? Un débat sans fin
Le débat entre logiciels libres et logiciels fermés rappelle les premières batailles entre Windows et Linux en matière de systèmes d’exploitation. Santiago Pino, de ML School, a écrit que les modèles d’IA propriétaires peuvent gagner le grand public, comme l’a fait Windows, mais que les logiciels libres offrent une personnalisation et un contrôle qui peuvent être extrêmement utiles pour les utilisateurs professionnels.
M. Pino a souligné que de nombreuses entreprises commencent par expérimenter avec ChatGPT, mais migrent ensuite vers des modèles open-source, qu’elles peuvent affiner et personnaliser en fonction de leurs besoins spécifiques et de leurs exigences en matière de conformité des données. Les solutions à code source ouvert évitent le verrouillage des fournisseurs et assurent la transparence, a-t-il déclaré.
« Les modèles fermés et propriétaires peuvent séduire les particuliers, mais la plupart des entreprises ne veulent pas envoyer leurs données à Microsoft ou à Google. Elles veulent avoir le contrôle. Les modèles open-source sont la solution », a-t-il déclaré dans un tweet quelques jours avant que le fil de Bernard ne devienne viral.
Les modèles open-source vont détruire ChatGPT et Gemini.
L’histoire des modèles linguistiques à code source ouvert est l’histoire de Linux. Windows et Mac ont conquis les consommateurs, mais Linux est devenu le système d’exploitation de l’internet.
Il en ira de même pour ChatGPT, Gemini et les modèles open-source. Fermés,… pic.twitter.com/fdmS1VNtqf
– Santiago (@svpino) Le 22 décembre 2023
Ce type de point de vue a été partagé dans le débat sur le tweet de Bernard par Sciumo Inc, une société de développement de logiciels, qui a souligné le potentiel de niche des modèles open-source : « (Les modèles open-source) seront compétitifs là où c’est important : des problèmes spécifiques à un domaine avec des données spécifiques à un domaine et une expertise que (OpenAI) n’a pas. »
Furkan Gözükara, un ingénieur informaticien connu pour sa chaîne YouTube SECourses, fait également partie de ceux qui ont une position plus nuancée. S’adressant à TCN, il s’est dit d’accord avec Bernard, affirmant que « seules des tâches spécifiques des LLM Open Source permettront de dépasser OpenAI ».
M. Gözükara donne l’exemple d’une entreprise qui « forme des MLD sur (ses) propres documents ». Oui, OpenAI a la capacité de personnaliser les GPT sur la base d’instructions et de documents spécifiques, mais la transmission de données sensibles à des tiers est toujours un sujet de préoccupation. Cette inquiétude a été récemment confirmée lorsqu’il a été révélé que les TPG personnalisés transmettaient des données sensibles à des utilisateurs tiers.
Yan Lecun, responsable du développement de l’IA chez Meta et fervent défenseur de l’open-source, a déclaré à plusieurs reprises que « les modèles de base de l’IA en open-source effaceront les modèles d’IA fermés et propriétaires ». Google, un autre géant de l’IA, reconnaît également la menace que représente l’IA à code source ouvert : « Les modèles à code source ouvert sont plus rapides, plus personnalisables, plus privés et plus performants », peut-on lire dans un mémo de Google ayant fait l’objet d’une fuite en 2023.
Il reste à voir si les modèles open-source égaleront ou surpasseront le GPT-4 et ses futures itérations cette année. Toutefois, les points de vue des experts des deux camps révèlent une tension intrigante. Les modèles à code source fermé peuvent avoir un avantage en termes de ressources et d’itération rapide, mais les outils à code source ouvert évoluent rapidement, offrant des capacités permanentes et des possibilités de personnalisation. Pour l’instant, la communauté de l’IA peut observer le déroulement de la compétition et profiter des avantages liés à l’utilisation de la meilleure technologie disponible.
