Les chercheurs de Netflix affirment qu’ils ont peut-être rendu obsolète l’omniprésent écran vert. Décrit comme une avancée innovante dans l’application de l’IA à l’industrie du cinéma et de la télévision, l’écran vert Magenta (MGS) exploite la puissance de l’intelligence artificielle pour améliorer les effets visuels, les rendant plus réalistes et plus précis en temps réel.
La nouvelle technologie du géant de la diffusion en continu est un ajout impressionnant à son arsenal diversifié, qui utilise déjà l’apprentissage profond pour adapter l’expérience de l’utilisateur. Grâce à l’IA, Netflix s’est fait un nom en réussissant à établir le profil de ses utilisateurs et à suggérer des contenus aux téléspectateurs. L’IA a également aidé Netflix à créer des temps forts, des récapitulatifs et des bandes-annonces captivants afin d’augmenter le nombre de téléspectateurs.
La technologie de l’écran vert est un procédé largement utilisé qui consiste à filmer des acteurs sur un fond vert lumineux, qui peut ensuite être supprimé et remplacé numériquement. Le processus peut être automatisé, mais des problèmes se posent lorsque des éléments verts apparaissent au premier plan ou lorsque des détails fins tels que des mèches de cheveux ou des objets transparents sont impliqués. Pour résoudre ces problèmes, les opérateurs ajustent souvent manuellement les paramètres ou peignent chaque image, ce qui prend beaucoup de temps.
Netflix affirme que MGS utilise l’IA pour obtenir de meilleurs résultats que les écrans verts traditionnels en une fraction du temps nécessaire au montage d’une scène.
Comment Netflix utilise l’IA pour améliorer son jeu VFX
La méthode MGS consiste à filmer les acteurs face à des LED vertes lumineuses, avec des LED rouges et bleues les éclairant de face, ce qui produit une lueur magenta. Cette configuration d’éclairage unique crée des canaux rouge, vert et bleu distincts. Le canal vert n’enregistre que l’arrière-plan, ce qui fait apparaître le premier plan en noir, tandis que les canaux rouge et bleu ne capturent que le premier plan, ce qui rend l’arrière-plan noir.
L’introduction de l’IA dans ce système permet de remplacer le canal vert en temps réel, ce qui signifie que les acteurs peuvent être placés instantanément et de manière réaliste au premier plan d’une autre scène. Plus remarquable encore, cette technologie d’IA peut fonctionner avec précision avec des objets transparents et des détails complexes tels que des mèches de cheveux individuelles, ce qui constituait un défi avec les méthodes traditionnelles.
L’application de l’IA ne s’arrête pas à l’étape du tournage. Étant donné que la technique MGS peut donner une teinte magenta aux acteurs et aux objets, Netflix utilise également l’IA pour restaurer l’ensemble du spectre des couleurs au premier plan. Pour ce faire, elle utilise une photographie de référence des acteurs éclairés normalement.
Netflix n’est qu’une des nombreuses entreprises qui surfent sur la vague de l’IA. D’autres startups et licornes tirent parti de l’utilisation de la technologie de l’IA pour mieux profiler les utilisateurs, offrir de meilleures expériences aux clients et optimiser leurs produits.
Comme TCN l’a récemment rapporté, Zoom a mis au point un résumé de réunion alimenté par GPT. Par ailleurs, Meta utilise l’IA générative pour créer de meilleures publicités, Google améliore sa suite bureautique grâce à son propre LLM, et même le ministère américain de la défense tente de trouver des cas d’utilisation intéressants pour l’IA en tant qu’outil stratégique.
Malgré la complexité de la technique MGS, Netflix croit au potentiel de son système GS alimenté par l’IA. Toutefois, d’autres acteurs du secteur émettent des réserves.
Drew Lahat, de la société de production vidéo Geiger Post, s’interroge sur le caractère pratique de la technique dans des environnements de tournage rapides et sur sa compétitivité par rapport à d’autres méthodes émergentes. « Elle peut fonctionner correctement dans un espace entièrement contrôlé », a-t-il déclaré, « mais elle devrait rivaliser avec d’autres nouvelles techniques telles que les scènes de production virtuelles, et convaincre les producteurs dans des scénarios réels ».
Néanmoins, comme l’a déclaré Paul Debevec, chercheur chez Netflix, au New Scientist, « les ordinateurs ont déjà fourni des outils tellement puissants pour faciliter beaucoup de choses. [C’est une autre chose que nous pouvons faciliter, afin que les artistes talentueux que nous avons puissent se concentrer sur l’aspect artistique, en rendant les choses plus belles ».
Netflix mise sur l’IA pour améliorer non seulement l’expérience des téléspectateurs, mais aussi pour rationaliser les choses en coulisses. Les scénaristes détestent peut-être que l’IA s’immisce dans leurs activités, mais les artistes VFX sont-ils du même avis ?
