Grâce aux informations récupérées par les différents capteurs, le système volumétrique associé à de l'intelligence artificielle permet à Google de modéliser rapidement un être humain en appliquant un éclairage réaliste.

Les ingénieurs de Google ont conçu un système de modélisation 3D qui permet de recréer et d'intégrer un être humain dans un environnement virtuel plus facilement à l'aide d'outils d'intelligence artificielle.

Un ensemble de 90 caméras enregistre le sujet sous toutes les conditions de lumière ; celui-ci doit tout d'abord être filmé sous tous les angles dans un dôme composé de 331 lumières, chacune intégrant 63 diodes LED.

La luminosité et la couleur va varier durant la prise de vue réalisée par 90 caméras 60 Hz de 12,4 mégapixels avec 58 d'entre elles qui sont des caméras RGB et 32 des modèles infrarouges, capturant 65 Go de données à la seconde.

L'intelligence artificielle développée par Google va ensuite utiliser les 90 flux vidéo capturés pour créer un modèle très détaillé qui pourra être intégré directement dans une scène en 3D.

Ø La nouveauté est que la lumière pourra être directement générée dans l'univers virtuel alors que les précédentes technologies ne pouvaient utiliser que la lumière capturée dans le volume de captation.

Le système restitue avec précision la façon dont les vêtements, les cheveux ou la peau réagissent à n'importe quelle ambiance lumineuse et la manière dont les ombres se comportent sur un individu en mouvement.

Ø Dans le domaine cinématographique, cela pourrait permettre aux équipes en charge d'effets spéciaux numériques de modéliser un comédien sans se poser la question de l'éclairage sur le plateau.

L'avatar virtuel pourra ainsi réagir à tout changement de lumière souhaité par le chef opérateur et il ne restera plus qu'à appliquer les textures et le rendu photo-réaliste.

Ø Le principe est le même pour le jeu vidéo, où le personnage numérisé réagira en temps réel à la luminosité ambiante.

Reste aux ingénieurs à améliorer leur technologie pour offrir un volume de captation plus important  permettant  de capturer des scènes en mouvement sur la durée avec plusieurs comédiens.