Scheduling Compressible Tasks: Application Neural Network Inference
Ordonnancement avec des tâches compressibles : Application à l'inférence de réseaux neuronaux
Résumé
Avec l’avènement et l’utilisation croissante du Machine Learning as a Service, les systèmes de cloud et de réseau offrent désormais la possibilité de déployer des tâches de ML sur des clusters hétérogènes. Les opérateurs de réseaux et de clouds doivent ensuite programmer ces tâches, en déterminant à la fois quand et sur quels appareils les exécuter. Parallèlement, plusieurs solutions, telles que la compression de réseaux neuronaux, ont été proposées pour construire de petits modèles pouvant fonctionner sur un matériel avec des ressources limitées. Ces solutions permettent de choisir la taille du modèle au moment de l’inférence en fonction du temps de traitement désiré sans avoir à ré-entraîner le réseau.
Dans ce travail, nous considérons le problème DSCT (Deadline Scheduling with Compressible Tasks), un nouveau problème d’ordonnancement avec deadlines dans lequel les tâches peuvent être compressées. Chaque tâche présente un compromis entre son niveau de compression (et donc son temps de traitement) et son utilité. L’objectif est de maximi- ser l’utilité des tâches. Nous proposons un algorithme d’approximation avec des garanties prouvées pour résoudre le problème. Nous validons son efficacité par des simulations approfondies, en obtenant des résultats presque optimaux.
Origine : Fichiers produits par l'(les) auteur(s)