Localisation & Identification
de cibles aériennes
par Deep Learning

Le projet DEEPLOMATICS propose une approche multimodale et modulaire pour la protection contre l'utilisation illicite de drones aériens.

Le réseau de surveillance est basé sur des antennes microphoniques compactes et indépendantes, complétées par un système d'imagerie active dans le proche infrarouge. Les données acoustiques et vidéo alimentent des algorithmes de Deep Learning développés spécifiquement pour chaque module.

Lancement du projet dans :

En savoir plus
Img

Partenaires du projet

DEEPLOMATICS est financé par la DGA dans le cadre de l'ANR ASTRID, pour la période 2019-2022. Le projet est porté par Éric Bavu, maître de conférences au Laboratoire de Mécanique des Structures et des Systèmes Couplés (Cnam Paris).

Le consortium est constitué de partenaires aux compétences complémentaires en acoustique, traitement du signal, machine learning, et en optronique : deux laboratoires du Conservatoire National des Arts et Métiers, le LMSSC et le CEDRIC, ainsi que les équipes "Acoustique et Protection du Combattant" et "Visionique Avancée et Processing" de l'Institut Franco-Allemand de Recherches de Saint-Louis, et la société Roboost.

Une approche multimodale renforcée par le Deep Learning

Le projet DEEPLOMATICS repose sur l'utilisation de techniques de Deep Learning appliquées à l'audio et à la vidéo, permettant l'identification et le suivi robuste en temps réel de trajectoires de drones à faible signature, grâce à des données multimodales issues de capteurs hétérogènes fonctionnant de manière autonome.

Ce projet interdisciplinaire utilise des dispositifs acoustiques dotés d'intelligence artificielle, organisés en antennes microphoniques compactes, directives, et efficaces en large bande. Ces antennes seront complétées par un système optronique d'imagerie active, qui sera lui aussi connecté à une intelligence artificielle indépendante.

L'organisation en réseau modulaire permettra d'adapter la topologie de capteurs en fonction du site à protéger. Les données audio et vidéo de l'ensemble des capteurs alimenteront des réseaux de neurones profonds connectés à chaque module, préalablement entrainés pour les tâches de localisation, de suivi et de reconnaissance de cible.

Les informations multimodales seront fusionnées pour augmenter la précision et la robustesse du système global et répondre au plus grand nombre de scénarios. Chaque module du réseau étant doté d'une IA indépendante pour les tâches de localisation et d'identification, la portée globale de surveillance ne dépend donc que du nombre d'antennes intelligentes constituant le réseau, conçu pour être entièrement adaptable aux spécificités du site à protéger.

Détail des tâches du projet

Structuration du projet

Le projet est structuré en 5 tâches, afin de proposer une évolution rapide de la maturité de chaque sous-système.

Constitution de bases de données multimodales de drones

Coordinateur : Christophe Langrenne (LMSSC)

Cette tâche couvre les campagnes de mesures acoustiques et optroniques, l'annotation et la gestion des bases de données, ainsi que l'augmentation de données par spatialisation 3D.

Localisation et identification audio par Deep Learning

Coordinateur : Éric Bavu (LMSSC)

Cette tâche couvre la conception des antennes de mesures, le développement de réseaux de neurones profonds pour la localisation et l'identification acoustique, et le transfert pour l'inférence sur les unités de calcul des antennes.

Suivi et reconnaissance de drones par Deep Learning vidéo

Coordinateur : Nicolas Thome (CEDRIC)

Cette tâche couvre le développement de réseaux de neurones profonds pour la localisation de drones dans les images classiques et infrarouges issues du sysyème d'imagerie active, l'analyse de robustesse et aux données manquantes.

Optimisation et motorisation du système d'imagerie active

Coordinateur : Alexis Matwyschuk (ISL)

Cette tâche couvre la mise en place d'un système d'asservissement et un mécanisme d'accrochage de cible. Des moyens complémentaires optroniques seront également envisagés, et la poursuite de cible sera évaluée en mode jour/nuit.

Fusion de données multimodales et multicapteurs

Coordinateur : Sébastien Hengy (ISL)

Cette tâche couvre la fusion et les échanges des données de localisation et d'identification fournies par chaque module ou sous-système du réseau de surveillance, ainsi qu'une évaluation d'une stratégie de filtrage de trajectoires robuste aux données manquantes.

Post-doctorats ouverts au recrutement

Dans le cadre du financement ANR ASTRID obtenu par le consortium,
nous sommes à la recherche de deux post-doctorants ayant prouvé leurs compétences
en Deep Learning sur des données vidéo et/ou audio.

Pour chacun des deux post-doctorants, le financement est assuré pour une durée de 18 mois.

Voir les profils recherchés

Le projet DEEPLOMATICS en chiffres

  • 36 mois

    Durée du projet
  • 20

    Chercheurs et techniciens impliqués
  • 2

    Post-doctorats de 18 mois financés