STAGE - Generative AI : Deep Learning pour la génération interactive de contenu 3D (Transformer / Diffusion) (H/F)

Le stage se déroulera dans l’équipe Home&Lifestyle Twin qui s’intéresse à des problématiques de recherche liées aux environnements de dimension massive mixant le réel et le virtuel et générant des quantités de données complexes nécessitant l’automatisation de leur traitement et de leur analyse afin d’en extraire une connaissance et des modèles à forte valeur ajoutée.

L’utilisation d’architectures de deep learning s’est très largement popularisée ces dernières années, en particulier dans le domaine de la vision par ordinateur (2D et 3D). Cela s’explique par la qualité des performances obtenues par ces méthodes sur des tâches variées. Ces modèles reposent cependant sur une phase d’apprentissage dont le succès dépend fortement de la quantité et de la qualité des données d’entraînement utilisées. Un des axes proposés aujourd’hui dans la littérature pour éviter les dérives est de coupler de manière intelligente l’utilisation d’architectures de deep learning et d’intéractions utilisateurs. 

Nous proposons donc de nous intéresser dans ce stage à la génération assistée par deep learning de contenu 3D. Deux objectifs seront centraux dans ce sujet : la qualité, le réalisme et la variété du contenu généré ainsi que la facilité de création pour un utilisateur non expert. Les thématiques de génération conditionnée de données (GAN, VAE, Transformers, modèles de Diffusion…), de multimodalité et d’interprétabilité seront donc au cœur de ce sujet.

Vos missions

Vous devrez dans un premier temps établir une recherche bibliographique sur le domaine puis, avec le guidage de l'encadrant, déterminer la méthode la plus adaptée pour répondre au problème posé. Une implémentation de la méthode sera ensuite mise en œuvre. Enfin, une démonstration des résultats clôturera le stage.