La réalité virtuelle (RV) désigne l'ensemble des technologies qui permettent à un utilisateur d'être transporté dans un monde artificiellement généré par un ordinateur - également appelé environnement virtuel (EV). L'utilisateur a la possibilité d'interagir dans cet environnement, par exemple de se déplacer, de sélectionner et de manipuler des objets [1]. Cette capacité d'interaction, ainsi que la stimulation de plusieurs sens de l'utilisateur, permet à ce dernier d'être présent dans un environnement virtuel comme s'il s'agissait d'un environnement réel. Alors que la plupart des expériences de RV existantes se limitent à des stimuli audiovisuels, des études récentes suggèrent d'aller au-delà de ce type unique de stimulus. Celles-ci montrent notamment que l'inclusion de stimuli auditifs, olfactifs et tactiles (y compris la thermoception) semble améliorer de manière significative l'expérience de l'utilisateur de RV, et ce à plusieurs égards [4,5]. L'un des avantages les plus notables est l'augmentation des degrés de présence et d'immersion pour les utilisateurs de la RV. En outre, des techniques de plus en plus abordables ont été récemment mises au point pour capturer, créer et restituer des stimuli multisensoriels, dont la représentation numérique est appelée mulsemedia [2,3] - pour multiple sensorial media (médias sensoriels multiples). Ces techniques permettent de créer ce que l'on peut appeler des jumeaux numériques multisensoriels. Ce concept étend le concept original de jumeau numérique au-delà des visuels et données en 3D, en incluant des informations sensorielles (odeurs, sensations tactiles, goût, sons...). Ces répliques virtuelles multisensorielles ouvrent la voie à la reproduction de véritables expériences sensibles. Leur application à la reconstitution sensorielle de scènes du passé, par exemple, ouvre des perspectives très intéressantes pour la muséographie, ainsi que pour la préservation et la transmission du patrimoine culturel matériel et immatériel. Cette thèse se concentre sur la méthodologie et le développement de nouvelles techniques d'enregistrement et de restitution immersive de stimuli multisensoriels, avec une étude de cas de création de jumeaux numériques multisensoriels pour le patrimoine culturel.

[1] Doug A Bowman, Ernst Kruijff, Joseph J LaViola, and Ivan Poupyrev. 2001. An introduction to 3-D user interface design. Presence 10, 1 (2001), 96–108.

[2] Gheorghita Ghinea, Christian Timmerer, Weisi Lin, and Stephen R. Gulliver. 2014. Mulsemedia: State of the Art, Perspectives, and Challenges. ACM Trans. Multimedia Comput. Commun. Appl. 11, 1s (oct 2014), 23–27.

[3] Alexandra Covaci, Longhao Zou, Irina Tal, Gabriel Miro Muntean, and Gheorghita Ghinea. 2018. Is multimedia multisensorial? - A review of mulsemedia systems. Comput. Surveys 51, 5 (2018), 23–27.

[4] Daniel Martin, Sandra Malpica, Diego Gutierrez, Belen Masia, and Ana Serrano. 2022. Multimodality in VR: A Survey. Comput. Surveys 54, 10s (sep 2022), 36.

[5] Miguel Melo, Guilherme Goncalves, Pedro Monteiro, Hugo Coelho, José Vasconcelos-Raposo, and Maximino Bessa. 2022. Do Multisensory Stimuli Benefit the Virtual Reality Experience? A Systematic Review. IEEE Transactions on Visualization and Computer Graphics 28, 2 (2022), 1428–1442.