En 2018, Facebook a introduit les photos 3D en s'appuyant sur le mode portrait avec le double capteur photo d'un smartphone. Les données de profondeur normalement utilisées pour l'effet de flou en arrière-plan sont exploitées par un algorithme pour des caractéristiques 3D d'une scène et leur simulation dans une image.
Facebook permet désormais de publier de telles photos 3D avec son application mobile et depuis un smartphone qui ne dispose que d'un seul capteur photo, sans ce fameux mode portrait. Par voie de conséquence, cela permet également des selfies 3D avec le capteur photo avant de l'appareil.
La technique avec un seul capteur photo utilise du machine learning dans le but de déduire la structure à trois dimensions d'une image et créer un effet 3D. " Nous avons utilisé l'état de l'art des techniques de machine pour produire des photos en 3D à partir de n'importe quelle image 2D standard ", peut-on lire dans un billet sur le blog Facebook AI. Il peut donc aussi s'agir en théorie d'une ancienne photo.
We have created a new AI-powered tool that can turn virtually any standard 2D picture into a 3D image.
— Facebook AI (@facebookai) February 28, 2020
Learn how it works here: https://t.co/CdYZhmjk0K pic.twitter.com/rjqb1QrPza
Pour autant et avec l'application Facebook, l'annonce s'adresse aux détenteurs d'un iPhone 7 ou plus, un smartphone Android récent de milieu de gamme ou mieux. Le déploiement est en cours.
Un réseau de neurones à convolution a été entraîné avec des millions d'images 3D publiques et leurs données de profondeur associées. " Nous avons exploité diverses techniques d'optimisation sur mobile développées par Facebook AI, telles que FBNet et ChamNet ", écrivent des chercheurs et ingénieurs de Facebook AI.
Ce réseau de neurones artificiels peut estimer une distance de la caméra pour chaque pixel, ce qui permet de se passer d'un capteur photo supplémentaire en déduisant les données de profondeur.
Par rapport à d'autres possibilités déjà existantes, Facebook propose une sorte de démocratisation.
