Distributed computing at the smart device edge
Calcul distribué en périphérie de réseau
Résumé
With the increasing capacity of smart devices and an incompatibility of privacy/latency sensitive applications with cloud computing, edge computing has emerged as the best deployment solution for such workloads. In this context, this thesis studies the acceleration of heavy workloads in smart device edge networks, by providing observability through filtering of telemetry data, and a pipe-lining framework for throughput acceleration of heavy workloads. This thesis proposes a hybrid approach between cloud-out and edge-in methodologies, which leverages the multiplicity of edge compute by locally offloading computation. The thesis initially focuses on network state observability and fault diagnosis at the edge. A data-driven method to extract intelligible selections of operational features from high-dimensional network telemetry data is introduced, combining data-driven metrics and semantic information contained in meta-data, to produce selections of features which best represent an underlying event. The thesis illustrates the benefits of such a complementary meta-data analysis for data-driven fault diagnosis, highlighting the robustness of the studied approach against variations in the input feature set. With an improved understanding of the state of the edge, this thesis then studies heavy workload distribution in such environments, through the example of DNN partitioning, which consists of distributing inference workloads over several available edge devices, taking into account the edge network properties and the DNN structure, with the objective of maximizing the inference throughput. The thesis describes a process to identify partitionings which maximize the DNN inference throughput while keeping computation on the edge. The analysis of this method has lead to a set of conditions on the link between the edge network and application properties to anticipate the achieved performance and complexity, and effectively size an edge network environment. Finally, the thesis describes a dynamic partitioning framework to improve the system performance and robustness, which leverages the observability of the network to adapt to heterogeneous and dynamic edge networks.
Avec la capacité croissante des appareils intelligents et une incompatibilité des applications sensibles la latence et la préservation de la vie privée avec le cloud computing, l'informatique en périphérie (edge computing) est devenue la meilleure solution de déploiement pour ce genre de charges de travail. Dans ce contexte, cette thèse étudie l'accélération d'importantes charges de travail dans les réseaux de périphérie d'appareils intelligents, en fournissant une observabilité par filtrage des données de télémétrie, ainsi qu'un cadre de pipelinage pour l'accélération du débit de ces charges. Cette thèse propose une approche hybride entre les méthodologies cloud-out et edge-in, en exploitant la multiplicité des appareils en périphérie afin de décharger localement le calcul. La thèse se concentre initialement sur l'observabilité de l'état du réseau et le diagnostic des pannes en périphérie. Cette thèse présente une méthode de sélection sémantique de caractéristiques opérationnelles à partir de données de télémétrie de réseau à haute dimension, combinant des métriques axées sur les données et des informations sémantiques contenues dans les métadonnées, afin de filtrer des des caractéristiques représentant au mieux un événement sous-jacent. La thèse illustre les avantages d'une telle analyse complémentaire de métadonnées dans le diagnostic de pannes, mettant en évidence la robustesse de l'approche étudiée face aux variations des caractéristiques d'entrée. Avec une meilleure compréhension de l'état du réseau de périphérie, cette thèse étudie ensuite la distribution des charges de travail lourdes dans de tels environnements, à travers l'exemple du partitionnement de réseaux de neurones profonds, qui consiste à distribuer ces travaux d'inférence sur plusieurs appareils disponibles, en prenant en compte à la fois les propriétés du réseau et la structure du réseau de neurone, dans le but de maximiser le débit d'inférence. La thèse décrit un processus pour identifier les partitions qui maximisent le débit d'inférence, en maintenant le calcul localement. L'analyse de cette méthode conduit à un ensemble de conditions sur le lien entre le réseau de périphérie et les propriétés de l'application pour en anticiper les performances et la complexité, et dimensionner efficacement un environnement de réseau en périphérie. Enfin, la thèse décrit un cadre de partitionnement dynamique pour améliorer les performances et la robustesse du système, qui tire parti de l'observabilité du réseau pour s'adapter à ces réseaux hétérogènes et dynamiques.
Origine : Version validée par le jury (STAR)