Qu’est ce que le Tracking ?

S’il y a eu ces dernières années un outil qui a révolutionné la postproduction c’est bien le “Tracking” ou “suivi de mouvement” en français. Le suivi de mouvement est un indispensable en post-production afin d’automatiser l’intégration entre différents éléments (effets, graphiques, éléments 3D et vidéo). Le tracking est partout, que ce soit dans les blockbusters hollywoodiens, dans les reportages des chaînes infos et même maintenant directement dans nos applications de smartphones.

Mais, sous le terme Tracking ou suivi de mouvement, il existe plusieurs techniques. On parlera de Tracking 2D, de Tracking 3D ou bien de Tracking Planaire. Dans cet article, nous allons découvrir les différentes techniques et savoir comment choisir le type de tracking le plus adéquat en fonction de vos besoins.

Le Tracking 2D

Le Tracking 2D est un outil qui permet de suivre la position d’un objet dans l’image et d’enregistrer sa position image par image afin de définir une trajectoire. Il est alors possible d’appliquer cette trajectoire à un autre objet afin que celui-ci possède le même mouvement.

Ainsi, en vidéo, on va demander au logiciel de suivre un groupe de pixels dans l’image, d’enregistrer les informations de positions X et Y, puis de répéter la même action sur toutes les images de la séquence.

Pour optimiser l’analyse et limiter les possibles erreurs, on va utiliser une zone afin d’identifier les pixels que l’on veut suivre. C’est la zone de Référence. On définira aussi une autre zone autour de la première afin de délimiter la zone de Recherche. Dans la plupart des logiciels, voire tous les logiciels, ces zones sont des carrés.

Des règles à suivre

Afin d’avoir de bons résultats, il y a des règles à suivre pour que l’analyse se déroule correctement. Les algorithmes de recherche sont basés sur deux caractéristiques : le contraste (luminance) ou la couleur (chrominance). Il faut donc choisir des éléments qui pourront se différencier de ce qui les entoure. Par exemple, la pupille d’un oeil sera facile à suivre. Alors que si on place la zone de référence sur une zone de peau ou dans le ciel bleu, ce sera beaucoup plus difficile pour suivre le mouvement.

La zone de recherche permet donc de limiter la recherche à une zone autour de la référence. On modifiera sa taille en fonction de la vitesse de déplacement de l’objet dans l’image. En effet, si l’objet est presque immobile, on pourra réduire la zone de recherche. Mais, si l’objet se déplace rapidement dans l’image, il faudra ajuster la taille de la zone de recherche (en l’agrandissant) pour qu’à l’image suivante l’objet ne sorte pas de la zone de recherche.

1 point de tracking

Comme mentionné précédemment, l’outil de tracking va enregistrer image par image les positions X et Y d’un objet et va au final définir une trajectoire. Ainsi, on pourra appliquer cette trajectoire sur un second objet, cet objet suivra alors parfaitement l’élément. On peut, par exemple, masquer le visage d’une personne avec un rectangle, il suivra les mouvements de tête.

1 point de tracking est parfait lorsque l’objet reste à la même taille et qu’il n’y a pas de rotation, car les informations X et Y d’un point ne donnent pas d’informations supplémentaires.

2 points de tracking

Lorsque l’on ajoute un deuxième point de tracking sur un objet, cela permet d’avoir une deuxième trajectoire X et Y, mais aussi de posséder des informations supplémentaires comme la distance entre les deux points et l’angle de rotation entre ces deux points.

Par exemple, si on place 2 points de tracking (l’un sur l’oeil gauche et l’autre sur l’oeil droit d’un visage), le logiciel connaît donc la distance entre les deux yeux. Si cette distance augmente, cela veut dire que soit la caméra se rapproche du visage, soit que le visage se rapproche de la caméra. À l’inverse, si la distance entre les deux yeux diminue, alors cela signifie que le visage s’éloigne.
De plus, si le visage penche d’un côté ou d’un autre, le fait d’avoir deux points et leurs coordonnées, nous donnera aussi l’angle de rotation.

Faire le suivi de mouvement avec 2 points permet donc de récupérer deux informations supplémentaires : l’échelle et la rotation.

4 points de tracking

Il est possible d’avoir une information supplémentaire lors de l’analyse du suivi de mouvement à condition de passer à quatre points d’analyse. On utilisera 4 points lorsque l’on voudra appliquer la déformation de la perspective à un objet.

Par exemple, si on veut remplacer une image sur l’écran, le fait d’avoir les trajectoires des quatre coins de l’écran nous permettra de remplacer l’image dans l’écran, quel que soit le mouvement de la caméra.

Les limitations du tracking 2D

Le tracking 2D permet de récupérer plus ou moins d’informations (position, rotation, échelle et perspective) en fonction du nombre de points de tracking utilisé (de 1 à 4). Mais, cette technique est limitée par le fait que les pixels que nous voulons suivre doivent toujours être présents dans l’image.

Or, en fonction du mouvement, il se peut que les pixels sortent de l’image ou bien soient obstrués par un autre objet qui passe devant ces pixels. Dans les deux cas, il faudra mettre manuellement des points clés et estimer la position de l’objet. Cela peut être assez laborieux. Une nouvelle technique permet de simplifier le suivi de mouvement même lorsque les pixels sortent de l’écran, c’est le tracking planaire !

Le Tracking Planaire

Le tracking planaire est une méthode de suivi de mouvement qui est apparue au début des années 2000. C’est un algorithme qui ne se base pas sur les pixels pour la recherche de mouvement, mais plutôt sur des textures ou des motifs. Ainsi, la zone de recherche ne sera plus liée à la présence ou non de pixels, mais à une partie du motif.

L’intérêt est que cela simplifie la sélection, il suffit de dessiner une forme pour que le logiciel essaye de suivre la position, l’échelle, la rotation et la perspective.
Comme mentionné ci-dessus, une partie du motif peut disparaître de l’écran, cela n’interrompt pas l’analyse tant qu’un certain pourcentage du motif reste présent.

C’est idéal lorsque l’on a besoin d’appliquer des éléments (images, texte…) sur un pan de mur ou sur des objets comme des plaques de voitures.

Les avantages sont nombreux par rapport au tracking basique 2D, le temps d’analyse étant maintenant très rapide. De plus, on peut suivre le mouvement de zones plus difficiles comme les peaux pour l’étalonnage ou pour la création de masques afin de détourer des personnages ou des objets.

Le logiciel précurseur et le plus connu pour son tracking planaire est le logiciel “Mocha” de la société “Boris FX”. Sa technologie n’est plus réservée aux gros logiciels d’effets spéciaux et on retrouve le moteur de “Mocha” dans de nombreux plugins pour les logiciels de montage comme Final Cut Pro X ou Premiere Pro.
Un logiciel comme Davinci Resolve de Blackmagic Design est aussi connu pour son tracking planaire très robuste et très rapide.

Le logiciel Mocha permet d’aller plus loin avec le tracking planaire. En effet, en analysant plusieurs plans d’une même séquence, le logiciel permet d’extraire l’information de trajectoire de la caméra et ainsi permet l’intégration d’éléments 3D dans certains logiciels (Flame, Nuke, Fusion). Voyons ce qu’est exactement le tracking 3D !

Le Tracking 3D

Comme son nom l’indique, le suivi de mouvement 3D va permettre d’extraire la trajectoire 3D de la caméra à partir d’une simple séquence vidéo.
Le tracking 3D est basé sur le tracking 2D, mais au lieu de se limiter à 1, 2, 4 points, l’analyse utilisera plusieurs dizaines de points de tracking. Ensuite, un algorithme analysera toutes les trajectoires afin de trouver une seule solution de caméra, car une seule position de caméra peut voir l’ensemble des points.

En plus de la trajectoire de la caméra, chacun des points suivi possède sa position dans un espace 3D. Cela est très important, car ils serviront à bien positionner un objet (3D ou non). Le tracking 3D est aujourd’hui omniprésent dans les effets, car l’intégration d’éléments 3D dans une vidéo est chose courante aujourd’hui.

Cependant, le tracking 3D est beaucoup moins accessible que les techniques de tracking 2D ou planaire. La plupart du temps, ce sont des artistes spécialisés et dédiés à cette tâche, on les appelle les “Matchmover Artist”. Le tracking 3D demande des ressources machines assez importantes. Il faut disposer d’un maximum d’informations lors du tournage des plans comme la focale de caméra utilisée, les informations de distorsion de la lentille, etc.

Le tracking 3D est de plus en plus intégré dans les logiciels de compositing comme Flame, Nuke, Fusion, mais aussi dans Adobe After Effects, ainsi que dans les logiciels 3D. Il existe des logiciels dédiés à cette tâche comme 3D Equalizer, PF TRACK, Boujou et Syntheyes.

Le futur du Tracking

Que ce soit pour le tracking 2D, 3D ou planaire, les technologies datent maintenant de plusieurs dizaines d’années. Si les outils sont plus rapides, il faut toujours la supervision de l’artiste pour ajuster les analyses et corriger certains éléments.

Les grandes évolutions sont en marche avec l’arrivée de l’intelligence artificielle qui permet non plus de suivre des pixels, mais qui est capable de savoir quel est le contenu dans l’image (une personne, une voiture, un bus, etc.) et qui suit automatiquement les différents éléments. La technologie est déjà disponible, notamment avec “ROTOBOT” qui crée des masques sur différents objets automatiquement.

L’autre avancée se trouve sur nos smartphones avec des caméras de plus en plus avancées et disposant de capteurs laser de profondeur. Ces derniers permettent en temps réel de suivre les mouvements de notre tête pour appliquer des filtres (Snapchat, Instagram, etc.). Ces avancées de la réalité augmentée vont permettre de faire bientôt du suivi de mouvement sans aucune intervention d’un artiste et en temps réel.