Towards Adaptive Learning with Invariant Representations - Mathématiques et Informatique pour la Complexité et les Systèmes Accéder directement au contenu
Thèse Année : 2021

Towards Adaptive Learning with Invariant Representations

Vers l'apprentissage adaptatif avec des représentations invariantes

Résumé

Although learning from data (Machine Learning) has dramatically improved Artificial Intelligence systems, these algorithms are not infallible ; they are sensitive to data shift, a ubiquitous situation in the industry. The Adaptation of machine learning models has been the subject of fruitful research, with an influential line of study that learns Invariant Representations, i.e. insensitive to changes in data. In this thesis, we show that learning invariant representations exposes to the risk of destroying their adaptability, a quantity that we, unfortunately, cannot control. We propose a theoretical analysis introducing a new error term, called hypothesis class reduction error, which captures the adaptability of a representation. Secondly, this thesis unifies two research fields for Adaptation, Importance Sampling and Invariant Representations, under the same theoretical framework. In particular, we show the need for inductive bias for adaptive learning, putting human expertise back at the centre of Machine Learning. Finally, we question a fundamental assumption when learning invariant representation ; the access to a large sample of unlabeled data of the new distribution. Indeed, this assumption is rarely met in practice, where we would ideally like to adapt with a few examples. This thesis contributes to this new problem by formalizing it and providing the community with a codebase for a reproducible search. Moreover, we offer a solid baseline based on Optimal Transport for this task.
Bien que l’apprentissage à partir de données (apprentissage automatique) ait considérablement amélioré les systèmes d’Intelligence Artificielle, ces algorithmes sont sensibles aux changements de distribution des données, une situation omniprésente dans l’industrie. L’adaptation des modèles d’apprentissage automatique a fait l’objet de recherches fructueuses, avec une ligne d’étude influente qui apprend des représentations invariantes, c’est-à-dire insensibles aux changements de distributions dans les données. Cette thèse montre que l’apprentissage de représentations invariantes expose au risque de détruire leur adaptabilité, une quantité que nous ne pouvons malheureusement pas contrôler. Nous proposons une analyse théorique introduisant un nouveau terme d’erreur, appelé erreur de réduction de classe d’hypothèse, qui capture l’adaptabilité d’une représentation. Deuxièmement, cette thèse unifie deux domaines de recherche sur l’adaptation, l’échantillonnage d’importance et les représentations invariantes, dans un même cadre théorique. En particulier, nous montrons la nécessité d’un biais inductif pour l’apprentissage adaptatif, replaçant l’expertise humaine au centre de l’apprentissage automatique. Enfin, nous remettons en question une hypothèse fondamentale lors de l’apprentissage de représentations invariantes : l’accès à un grand échantillon de données non étiquetées de la nouvelle distribution. En effet, cette hypothèse est rarement rencontrée en pratique, où l’on souhaiterait idéalement s’adapter avec quelques exemples. Cette thèse contribue à ce nouveau problème en le formalisant et en fournissant à la communauté une base de code pour une recherche reproductible. De plus, nous proposons une référence solide basée sur du Transport Optimal pour cette tâche.
Fichier principal
Vignette du fichier
2021UPAST141_BOUVIER_archivage.pdf (26.14 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03663398 , version 1 (10-05-2022)

Identifiants

  • HAL Id : tel-03663398 , version 1

Citer

Victor Bouvier. Towards Adaptive Learning with Invariant Representations. Machine Learning [cs.LG]. Université Paris-Saclay, 2021. English. ⟨NNT : 2021UPAST141⟩. ⟨tel-03663398⟩
111 Consultations
92 Téléchargements

Partager

Gmail Facebook X LinkedIn More