DEEPLOMATICS est financé par la DGA dans le cadre de l'ANR ASTRID, pour la période 2019-2022. Le projet est porté par Éric Bavu, maître de conférences au Laboratoire de Mécanique des Structures et des Systèmes Couplés (Cnam Paris).
Le consortium est constitué de partenaires aux compétences complémentaires en acoustique, traitement du signal, machine learning, et en optronique : deux laboratoires du Conservatoire National des Arts et Métiers, le LMSSC et le CEDRIC, ainsi que les équipes "Acoustique et Protection du Combattant" et "Visionique Avancée et Processing" de l'Institut Franco-Allemand de Recherches de Saint-Louis, et la société Roboost.
Le projet DEEPLOMATICS repose sur l'utilisation de techniques de Deep Learning appliquées à l'audio et à la vidéo, permettant l'identification et le suivi robuste en temps réel de trajectoires de drones à faible signature, grâce à des données multimodales issues de capteurs hétérogènes fonctionnant de manière autonome.
Ce projet interdisciplinaire utilise des dispositifs acoustiques dotés d'intelligence artificielle, organisés en antennes microphoniques compactes, directives, et efficaces en large bande. Ces antennes seront complétées par un système optronique d'imagerie active, qui sera lui aussi connecté à une intelligence artificielle indépendante.
L'organisation en réseau modulaire permettra d'adapter la topologie de capteurs en fonction du site à protéger. Les données audio et vidéo de l'ensemble des capteurs alimenteront des réseaux de neurones profonds connectés à chaque module, préalablement entrainés pour les tâches de localisation, de suivi et de reconnaissance de cible.
Les informations multimodales seront fusionnées pour augmenter la précision et la robustesse du système global et répondre au plus grand nombre de scénarios. Chaque module du réseau étant doté d'une IA indépendante pour les tâches de localisation et d'identification, la portée globale de surveillance ne dépend donc que du nombre d'antennes intelligentes constituant le réseau, conçu pour être entièrement adaptable aux spécificités du site à protéger.
Détail des tâches du projetLe projet est structuré en 5 tâches, afin de proposer une évolution rapide de la maturité de chaque sous-système.
Coordinateur : Christophe Langrenne (LMSSC)
Cette tâche couvre les campagnes de mesures acoustiques et optroniques, l'annotation et la gestion des bases de données, ainsi que l'augmentation de données par spatialisation 3D.
Coordinateur : Éric Bavu (LMSSC)
Cette tâche couvre la conception des antennes de mesures, le développement de réseaux de neurones profonds pour la localisation et l'identification acoustique, et le transfert pour l'inférence sur les unités de calcul des antennes.
Coordinateur : Nicolas Thome (CEDRIC)
Cette tâche couvre le développement de réseaux de neurones profonds pour la localisation de drones dans les images classiques et infrarouges issues du sysyème d'imagerie active, l'analyse de robustesse et aux données manquantes.
Coordinateur : Alexis Matwyschuk (ISL)
Cette tâche couvre la mise en place d'un système d'asservissement et un mécanisme d'accrochage de cible. Des moyens complémentaires optroniques seront également envisagés, et la poursuite de cible sera évaluée en mode jour/nuit.
Coordinateur : Sébastien Hengy (ISL)
Cette tâche couvre la fusion et les échanges des données de localisation et d'identification fournies par chaque module ou sous-système du réseau de surveillance, ainsi qu'une évaluation d'une stratégie de filtrage de trajectoires robuste aux données manquantes.
Dans le cadre du financement ANR ASTRID obtenu par le consortium,
nous sommes à la recherche de deux post-doctorants ayant prouvé leurs compétences
en Deep Learning sur des données vidéo et/ou audio.
Pour chacun des deux post-doctorants, le financement est assuré pour une durée de 18 mois.