STAGE - Ingénieur(e) de recherche : Apprentissage multimodal 3D - (H/F)

Lieu : Vélizy-Villacoublay

Le stage se déroulera dans l’équipe Home&Lifestyle Twin qui s’intéresse à des problématiques de recherche liées aux environnements de dimension massive mixant le réel et le virtuel et générant des quantités de données complexes nécessitant l’automatisation de leur traitement et de leur analyse afin d’en extraire une connaissance et des modèles à forte valeur ajoutée.

La recherche dans le domaine de l'apprentissage profond (Deep Learning) s'est beaucoup concentrée sur des modèles spécialisés, capables de réaliser des tâches individuelles à partir de modalités uniques, comme la détection d'objets dans une image ou la compréhension du sens d'un texte. De plus en plus d'approches tentent de créer un modèle universel capable de comprendre plusieurs modalités et de générer de nouvelles modalités, par exemple pour générer une image à partir d'un texte. Cette approche est motivée par le fait qu'un tel modèle peut bénéficier d'informations complémentaires provenant de modalités multiples. Il existe très peu d'approches qui comprennent les modalités 3D.

Vos Missions

Nous proposons donc de nous concentrer dans ce stage sur la compréhension de la 3D. Deux objectifs seront au cœur de ce sujet : la création d'un modèle d'apprentissage profond qui comprend les scènes 3D, et les applications en aval qui démontrent la compréhension des cas d'utilisation pratiques. Les technologies telles que les transformateurs et l'interprétabilité des modèles sont au cœur de ce projet.

Le stagiaire devra dans un premier temps établir une recherche bibliographique sur le domaine puis, avec le guidage de l’encadrant, déterminer la méthode la plus adaptée pour répondre au problème posé. Une implémentation de la méthode sera ensuite mise en œuvre. Enfin, une démonstration des résultats clôturera le stage.