Guillaume RICHARD : Transfer Learning for Temporal Data

Résumé :

Dans ce travail, nous proposons de nouvelles méthodes d’apprentissage par transfert pour l’analyse des séries temporelles. Motivés par des applications de désagrégation de la consommation d’électricité des ménages (NILM) et de surveillance de systèmes industriels, nous mettons en lumière le besoin de méthodes spécifiques d’apprentissage par transfert pour les séries temporelles. Après avoir examiné les méthodes existantes d’apprentissage par transfert et d’adaptation de domaine, nous formulons le problème suivant : pouvons-nous extraire des représentations de séries temporelles transférables à de nouveaux jeux de données ? Ainsi, notre objectif est de proposer un ensemble de méthodes permettant de transférer une partie des connaissances apprises sur un échantillon de données temporelles sources vers un nouvel échantillon cible ayant des propriétés différentes.
Dans une première partie, nous étudions les représentations des séries temporelle utilisant des réseaux de neurones avec pour objectif la reconnaissance d’appareils électroménagers à partir de leur consommation. Nous proposons une méthode de mélange de normalisations permettant une meilleur robustesse à un changement de maison, et donc d’appareils, entre l’apprentissage et l’application du réseau de neurone.

Dans une deuxième partie, nous développons un cadre général pour l’adaptation de domaine adverse, s’appliquant aussi bien à des problèmes de classification que de régression. Nous proposons des garanties théoriques et un algorithme d’adaptation de domaine avec plusieurs sources. Bien que l’application principale de la méthode présentée dans ce travail soit un problème de régression, notre cadre est générique et s’applique à la classification. Nos expériences, menées sur des données privées et publiques, montrent l’efficacité de notre méthode.

Dans une dernière partie, nous étudions les méthodes d’apprentissage par transfert pour les séries temporelles multivariées se basant sur des leurs matrices de covariance. En représentant les séries temporelles multivariées par leur matrice d’autocovariance, nous développons un cadre d’adaptation de domaine en utilisant la géométrie spécifique de ces matrices.

Abstract :

In this work, we propose novel transfer learning methods for time series analysis. Motivated by applications in household electricity consumption disaggregation (NILM) and industrial monitoring, we investigate traditional tools and show the need for specific transfer learning methods for time series. After reviewing existing transfer learning and domain adaptation frameworks, we formulate the following problem: can we extract transferable features from time series? Namely, our goal is to propose methods to reduce the performance gap when the test data comes from a different sample from the training data.

In a first part, we investigate time series pre-processing for neural networks with a view on household consumption. We propose a method that allows for better robustness when learning on one house and applying on a new one.

In a second part, we develop a general framework for adversarial domain adaptation for regression. We provide learning bounds and an algorithm for both single and multi-source domain adaptation. While our focus is on applications for regression, our framework is generic and is applicable to classification. We conduct extensive experiments on both private and public datasets, showing better performance than previous domain adaptation methods.

Finally, we investigate transfer learning methods for multivariate time series using covariance information. We represent multivariate time series by their autocovariance matrix and develop a domain adaptation framework using the specific geometry of those matrices.