Stage Outil analyse qualité captation Gaussian Splatting
1 candidat • Stage Palaiseau (91)
Description du stage
Le sujet du Novel View Synthesis a connu ces dernières années des avancées remarquables grâce à l'apparition des Neural Radiance Field [1] puis des 3D Gaussian Splatting [2]. Notre laboratoire a ainsi développé un outil de visualisation et d'interaction en Réalité Virtuelle basé sur cette dernière approche qui a rencontré un grand succès.
Or l'expérience nous a montré que la qualité des données recueillies lors de la prise de vue est cruciale pour le résultat final. Comme l'accès aux sites, parfois prestigieux, n'est en général pas aisé, le besoin est apparu d'un outil de mesure de qualité lors de cette étape de captation. Le stage consiste donc à participer au développement d'un tel outil qui après le recueil rapide des données acquises (vidéos, photos) les traitera sur place pour mesurer la couverture spatiale et directionnelle de la scène entière ou sur les objets d'intérêts principaux. Les poses des images seront rapidement évaluées via des méthodes de Simultaneous Localization And Mapping [3] ou par Structure From Motion [4]. Des données géométriques mesurées par un Lidar ou une caméra de profondeur attachés au dispositif de captation pourront fournir une première reconstruction dense de la géométrie. Enfin, on fournira une visualisation en fausse couleurs des zones ou directions couvertes, ou bien on procédera à des évaluations rapides par 3D Gaussian Splatting comme dans [5]. L'outil devra être itératif pour permettre d'ajouter des données supplémentaires acquises pour combler les déficits détectés. Et il pourra optionnellement signaler des problèmes fréquemment rencontrés lors d'une captation comme la présence d'objets déplacés par inadvertance, des profondeurs de champs trop petites, des flous de bougés ou des changements d'éclairage trop fort.
Ce travail viendra en appuis d'une thèse se déroulant actuellement dans notre laboratoire. L'étudiant pourra participer aux campagnes de captations menées par l'équipe pour tester, mettre au point et valider la solution.
Profil recherché
Niveau demandé Ingénieur, Master 2
Compétences requises :
- Python, C++, Cuda, Git,
- géométrie algorithmique, reconstruction 3D,
- bonne qualité rédactionnelle et de communication en français et anglais,
- rigueur dans l'analyse et la démarche.
Informations supplémentaires
Durée 6 mois
Rémunération Suivant profil
Lieu du stage CEA LIST, Nano-Innov, Palaiseau
A fournir
CV, lettre de motivation, références, site Web (si applicable)
A l'attention de : Gilles Roureron