L'acquisition simultanée de la géométrie et de la réflectance

Discipline

Informatique

Classification

Informatique

Mots-clés libres

Complétion de la profondeur, Images RGB-D, Images synthétiques

Mots-clés

Imagerie tridimensionnelle,

Réflectance,

Vidéo 3D (imagerie tridimensionnelle),

Réseaux neuronaux (informatique),

Ingénierie -- Méthodes graphiques

Cette thèse porte sur « l'acquisition simultanée de la géométrie et de la réflectance ». Les caméras RGB-D sont utilisées dans une variété d'applications, y compris la numérisation 3D, la navigation et la manipulation de robots, etc. Ces caméras fournissent simultanément une image couleur (RVB) et une carte de profondeur. La carte de profondeur indique la distance entre les objets et la caméra par pixel. Ces caméras RGB-D sont disponibles dans une variété de prix ; avec en particulier des modèles low-costs destinés à un usage grand public. Cependant, ces caméras présentent des défauts de mesure dans certaines zones / sous certaines conditions. Par conséquent, la carte de profondeur obtenue présente des valeurs manquantes (trous), des mesures de profondeur incorrectes et du bruit. Ces problèmes sont plus fréquents dans les zones où les objets sont transparents, spéculaires, trop proches ou trop éloignés, ou trop fins. Dans ce travail, nous proposons une approche pour corriger et compléter la carte de profondeur d’objets spéculaires proches. Notre approche se compose de différentes parties : d'abord, nous créons un générateur de scènes 3D aléatoires qui génère des images synthétiques pour l'entraînement du réseau de neurones. Deuxièmement, nous entraînons des réseaux de neurones à l'aide de nos images synthétiques pour aider à identifier les régions incorrectes dans la carte de profondeur. Finalement, nous complétons la profondeur en utilisant une méthode d'optimisation. Nous testons notre pipeline proposé sur des données du monde réel et démontrons qu'il obtient d'excellents résultats. Obtenir la réflectance d'un objet réel à partir d'une seule image est une tâche difficile. Nous proposons une première approche simplifiée par une adaptation de la méthode que nous avons proposée précédemment : création d'un nouveau générateur de scènes pour générer des ensembles de données synthétiques et entraîner des réseaux de neurones. L'objectif est d'obtenir une première approximation utilisable par un graphiste.