Dans le cadre de la série de conférences « Person of Interest » du Pôle Léonard de Vinci, Clément Duhart, enseignant-chercheur à l’ESILV et chercheur associé au Media Lab – MIT, a présenté les travaux menés par le Media Lab autour de l’observatoire de vie Tidmarsh, dans le Massachusetts.
Le Networked Sensory Landscape est un projet initié il y a 5 ans au Media Lab du MIT et récemment publié au MIT press. Cet ensemble de technologies permet l’étude des processus de restauration écologique d’anciennes friches industrielles. Les wetlands (zones humides) sont principalement ciblés car leur fort pouvoir de captation en CO2 en font une arme indispensable face au réchauffement climatique.
TidMarsh, un observatoire de vie où réalité virtuelle et intelligence artificielle sont au service de l’écologie.
Le projet pilote se situe sur l’ancienne ferme Tidmarsh de canneberges à Plymouth (MA). Les 1500 capteurs déployés sur le site, autonomes énergétiquement et interconnectés par un réseau sans fils, mesurent en temps réel l’évolution de la restauration au niveau bactérien, de la flore, de la faune et du climat local.
L’ensemble de ces données est exploité pour reconstruire en temps réel un environnement virtuel identique au site. Ainsi il est possible de naviguer à distance à travers le temps et l’espace sur le site Tidmarsh.
Le projet se compose notamment d’outils de réalité augmentée basée sur des lunettes Hololens permettant aux visiteurs et scientifiques sur le site d’obtenir des informations complémentaires dans leur champs de vision sur ce qu’ils observent tels que le nom d’un oiseau, ses rythmes migratoires, sa réapparition mais également son impact sur son écosystème.
Cette technologie est également exploitée pour sensibiliser l’engagement public en développant un nouveau type de documentaire. Le spectateur est acteur dans un environnement virtuel dans lequel il guide l’expérience et obtient des informations en accord avec ses propres centres d’intérêt.
Ce projet, unique en son genre, permet de fournir à la communauté scientifique la première base de donnée consistante et intégrale de l’évolution d’un écosystème à travers le temps et l’espace. D’ores et déjà des algorithmes d’Intelligence Artificielle se nourrissent de ces données afin d’en apprendre les modèles d’interactions et ainsi prédire les évolutions possibles de tels espaces écologiques.
La contribution des élèves-ingénieurs de l’ESILV au projet Networked Sensory Landscape
Dans le cadre de la master class Intelligence Artificielle initiée par Clément Duhart, trois groupes d’élèves-ingénieurs de l’ESILV ont participé au projet Tidmarsh.
Mehdi Sam, Yliess Hati, Grégor Jouet, Charly Tran et Othman Waterloos ont contribué à Tid’Zam Video, un programme d’analyse en temps réel et de détection d’espèces animales sur des flux vidéos. Tid’Zam Video se base sur dix caméras positionnées sur le site de Tidmarsh.
Neal Lausson, David Chasseray, Julien Labarre et Khang Truong ont travaillé sur le développement de DoppelMarsh Visitor. En portant un casque de réalité de virtuelle, les utilisateurs de ce système de réalité augmentée peuvent explorer le site de Tidmarsh à l’échelle 1/1000e. Les manifestations naturelles (déplacements d’espèces animales et sons) sont retransmises en temps réel et affinées selon la zone observée par le porteur du casque.
Sabri Lachihab, Youness Jay Kafia, Antoine Demon-Chaîne, Georges Cosson et Yassine Rachedi se sont consacrés aux applications TidZam. Ce système mis en place sur le site de Tidmarsh permet une analyse en temps réel des sons d’un environnement extérieur. Grâce à la localisation de micros sur le wetland, oiseaux, insectes, grenouilles, intempéries et voix humaines peuvent être identifiés et géolocalisés en temps réel. Les élèves-ingénieurs impliqués dans le projet ont créé une application Android pour TidZam et se consacrent désormais à l’application iOS.
Réalité virtuelle et intelligence artificielle au service de l’écologie, la conférence
Intervenant : Clément Duhart
Enseignant-chercheur à l’ESILV et Chercheur Associé au Media Lab – MIT
Clément Duhart est enseignant-chercheur à l’ESILV. Repéré pendant sa thèse par le Professeur Joseph Paradiso du MIT Media Lab puis invité en tant que doctorant à la fin de son doctorat en 2016, il est reparti 9 mois faire son post-doc au Media Lab en 2017 et a obtenu le statut de chercheur associé du MIT. Clément s’est vu confier le projet de recherche « TidMarsh » qui est un observatoire de vie où réalité virtuelle et intelligence artificielle sont au service de l’écologie.
Ingénieur diplômé de l’ECE Paris en 2011, il a obtenu en 2012 son master recherche en Intelligence Artificielle et Décision à l’UPMC puis en 2016 son doctorat à l’Université du Havre dans le domaine de de l’Intelligence Ambiante Organique pour concevoir des éco-systèmes intelligents comme des organismes artificiels.
http://www.livingobservatory.org/
http://tidmarsh.media.mit.edu/