Netflix vient d’inventer une nouvelle astuce pour améliorer le rendu des scènes filmées devant un écran vert. Pour une plus grande précision, le leader du streaming a choisi de projeter des lumières colorées sur les acteurs destinés à être incrustés devant un décor virtuel. Explications.
L’écran vert est massivement utilisé dans l’industrie du cinéma. Cette technique, apparue dès les années 1940, permet de superposer des acteurs ou des objets sur des environnements créés de toutes pièces, à l’aide d’un ordinateur par exemple. Une fois que la scène a été tournée, il suffit de remplacer le fond vert par le décor voulu en postproduction.
La couleur du fond facilite le travail des techniciens. En effet, le vert n’a pas été choisi au hasard. Il s’agit du coloris qui est le plus éloigné de celui de la peau humaine. Les monteurs peuvent ainsi aisément ajouter un acteur sur un décor. C’est également plus simple pour que des algorithmes détourent un personnage sur une vidéo. Dans la plupart des cas, l’arrière-plan permet d’éviter que le visage soit partiellement effacé.
Cette méthode n’est cependant pas parfaite. Pour que l’incrustation se déroule sans accroc, l’acteur ne doit pas porter une tenue qui se rapproche du vert. De même, les éléments les plus fins, comme des cheveux, peuvent être mal incrustés dans le décor lors de la postproduction. Ces défis font parfois perdre du temps, et donc de l’argent, aux studios. De plus, le rendu final, sur le petit ou le grand écran, manque un peu de précision.
À lire aussi : la terrible habitude des abonnés Netflix et Disney+ qui partagent leur mot de passe
Lumière rouge et bleu et IA
Pour pallier les défauts des fonds verts traditionnels, Netflix a mis au point une nouvelle technique, le « Magenta Green Screen ». Cette invention consiste tout simplement à projeter une lumière magenta sur les acteurs. Concrètement, Netflix utilise un « éclairage de premier plan rouge et bleu » pour isoler les personnages, les accessoires et les éléments qui doivent être incrustés sur un décor virtuel. Cette tactique permet à la caméra numérique d’isoler plus précisément les silhouettes qui se déplacent devant l’écran vert.
Pour récupérer une couleur normale, Netflix s’appuie ensuite sur l’apprentissage automatique, une technique d’intelligence artificielle. Ce système a été entraîné avec une montagne d’images lui permettant de comprendre les véritables teintes du monde réel. Sur base de ces données, l’algorithme va convertir tous les éléments éclairés en magenta pour revenir à des coloris réalistes.
Un rendu plus précis
D’après Netflix, cette technique permet d’améliorer la précision du détourage. Dans son rapport, le géant du streaming prend l’exemple d’une actrice avec de longs cheveux blonds. Avec un fond vert traditionnel, les algorithmes auraient eu beaucoup du mal à isoler les cheveux de la jeune femme. Sur le produit fini, une partie de la chevelure aurait pu disparaître. Ce n’est pas le cas avec le procédé imaginé par les chercheurs de Netflix. De même, la comédienne porte une robe verte, ce qui aurait compliqué le processus de détourage. Avec la lumière magenta, la tenue a par contre été isolée sans le moindre problème.
Le « Magenta Green Screen » souffre d’une limitation majeure. Il est impossible d’incruster en temps réel une personne, ou un objet, et d’en revoir les couleurs avec l’IA. De facto, la technique de Netflix ne peut pas être utilisée par les chaînes télévision, pour superposer un présentateur devant une carte de la météo par exemple.
Notez qu’une alternative au traditionnel fond vert a progressivement vu le jour ces dernières années. À la place des écrans verts, certains studios optent pour décors virtuels en 3D. Concrètement, les décors sont diffusés sur d’immenses écrans LED. Les acteurs jouent alors la scène devant les panneaux. C’est de cette manière que les séries Star Wars de Disney+, comme The Mandalorian, ou des films, comme The Batman, ont été filmés.
Source :
Github