J'ai passé quatre merveilleuses années à détourner les réseaux de neurones (avec des techniques dites d'apprentissage profond) de leur utilisation normale :
Clustering avec des critères génératifs et discriminatifs et des distances de Wasserstein à l'aide de réseaux adversariaux génératifs (GAN)
Importance non-supervisée de caractéristiques avec distortion maximale mais de distance infinitésimale de Wasserstein
Prédiction avec incertitude
En termes simples, ce travail de doctorat concernait respectivement :
comment faire quelques groupes dans un ensemble de données qui sont à la fois très nombreuses et très grandes. Par exemple, nous explorons la possibilité de regrouper des centaines de milliers (ou plus) de photographies, chacune composée de millions de pixels, c'est-à-dire de points de couleur
comment montrer les attributs distinctifs des éléments d'un ensemble de données. En effet, nous étudions la possibilité d'interpréter les attributs (ou coordonnées) des données brutes sans annotations ni étiquettes
comment estimer un indice de confiance d'une décision automatique. Dans les applications du monde réel (par exemple les contraintes industrielles, la santé, la sécurité, voire la justice), une approche statique de la confiance dans la prise de décision est cruciale pour redonner la responsabilité réelle aux êtres humains pour les cas difficiles typiquement.
Ces problèmes partagent un questionnement scientifique commun : comment représenter les données ? Pour cela, nous revisitons le concept mathématique appelé Transport Optimal avec un outil algorithmique très connu appelé Réseaux de neurones (surnommé “Deep Learning” depuis 2010 environ).
Des travaux non publiés ont été entrepris au cours de cette thèse sans apparaître dans le manuscrit (et sont actuellement en cours) :
Grammaire et apprentissage profond, projet en traitement du langage naturel visant à réconcilier la grammaire issue de la linguistique et les réseaux neuronaux via les auto-encodeurs et les techniques modernes de plongement, dans le prolongement d'un stage de recherche que j'ai conçu et encadré pour Maxime Haddouche.
GaDeMI : Gaussian and Decorrelated Means Independence, projet d'analyse avancée des données avec Dr. Joan Alexis Glaunès concernant un nouveau type d'auto-encodeurs construits en couches successives pour extraire une représentation dont les coordonnées sont quasi-gaussiennes et décorrélées (et donc approximativement indépendantes) Extension de l'annexe Auto-encoder-based GAN Initialization
StaReLefOU : State Representation Learning from Observation Uncertainty, projet en robotique avec Astrid Merckling visant la construction d'une représentation d'état construite sans récompense tout en étant utile pour toute tâche inconnue dans le même environnement grâce à l'exploration. Extension du chapitre Prediction with Uncertainty
Co-Clustering de Wasserstein, projet en Biologie Informatique pour l'étude de la maladie de Huttington utilisant le co-clustering pour l'appariement de molécules d'ARN de nature différente avec le Transport Optimal avec Thi Thanh Yen Nguyen, Pr. Olivier Bouaziz et Pr. Antoine Chambaz Extension du chapitre Wasserstein Clustering
i2nn : Une invitation aux réseaux de neurones, conférence donnée à plusieurs reprises pour convaincre les personnes travaillant à la fois dans le domaine des statistiques et de la programmation d'utiliser l'apprentissage profond. Extension du chapitre État de l'art