STAGE - Ingénieur.e Recherche Compagnon IA en Réalité Augmentée (F/H)

Dassault Systèmes a pour ambition stratégique de révolutionner les sciences de la vie, avec le développement du jumeau virtuel, et par conséquent de transformer la pratique médicale.

Au sein du département Corporate Strategy & Research, vous intégrerez l'équipe Healthcare Immersive Experiences, spécialisée en vision par ordinateur, modélisation, rendu 3D, intelligence artificielle (IA), réalité augmentée (AR) et réalité virtuelle (VR).

Sa mission est d'inventer les techniques et contenus immersifs de demain, grâce à des expériences innovantes s'appuyant sur le jumeau virtuel de l'être humain, dans le but d'améliorer la vie des patients et le travail des médecins.

Dans les environnements en réalité étendue (XR), la présence d'un assistant virtuel interactif améliore considérablement l'apprentissage, l'immersion et le guidage de l'utilisateur. Cependant, les assistants actuels sont souvent conçus sur-mesure pour une seule application spécifique et ne peuvent pas être réutilisés facilement dans d'autres contextes, ce qui freine leur déploiement à grande échelle.

L'objectif principal de ce stage est de concevoir un compagnon IA générique sous forme de kit réutilisable. Cet agent immersif autonome, qui pourra prendre la forme d'un orbe ou d'un avatar, devra pouvoir s'intégrer facilement dans n'importe quel projet XR existant, sans nécessiter de modifier le cœur du système hôte.

Vos missions

Au cours de ce stage, vous serez développerez cet agent intelligent et modulaire, en abordant des défis techniques passionnants que nous vous proposons de relever :

• Permettre à l'agent de se déplacer, de comprendre et de naviguer de façon naturelle et cohérente dans l'espace 3D réel de l'utilisateur
• Capturer, analyser et interpréter la scène visuelle de l'utilisateur en temps réel grâce à une approche de perception multimodale (intégration de modèles VLM)
• Créer des interactions vocales fluides en langage naturel, tout en donnant à l'agent la capacité spatiale de pointer des zones d'intérêt dans l'environnement
• Concevoir une architecture logicielle suffisamment générique pour garantir une intégration facile dans divers projets XR

Plus spécifiquement, vous aurez la possibilité de réaliser les missions suivantes :

• Faire une revue technologique des solutions d'agents autonomes, des modèles d'IA multimodales (LLM, VLM) et des architectures d'applications XR
• Définir avec votre manager l'architecture logicielle (SDK, API) offrant le meilleur compromis entre la facilité de déploiement et la richesse des interactions possibles.
• Développer un démonstrateur interactif en réalité mixte mettant en scène cet agent, en vous appuyant sur nos composants existants ou en proposant de nouvelles approches.
• Évaluer l'efficacité de l'agent, la pertinence de ses interactions spatiales et son impact sur l'expérience utilisateur globale

Vous collaborerez au cours de votre mission avec l'ensemble des membres de l'équipe de la Recherche, ainsi que des experts R&D de Dassault Systèmes mais aussi des médecins. L'idée dans le cadre de ce stage est de fournir un démonstrateur fonctionnel prouvant la viabilité et la forte valeur ajoutée d'un tel compagnon IA immersif.