MLOps : Run et évolutivité de modèles de Machine Learning Mixte : présentiel / à distance

Une fois le déploiement des modèles de Machine Learning en production automatisé, se pose alors la question du maintien en condition opérationnelle de ceux-ci.

Comment s'assurer que ces modèles restent performants et fiables sur la durée ? Comment gérer les versions et planifier sa maintenance sans incidence de performance et qualité ? Quelle gouvernance mettre en place ?

Pour relever ces challenges, nos experts OCTO du MLOps, ont conçu ce module de 3 jours, destiné aux ML Engineers et Data Scientits, pour s'approprier l'approche MCO, afin de faire évoluer dans les meilleures conditions ses modèles de Machine Learning en production et d'en monitorer en temps réel les performances. Enfin vos équipes verront les différents modèles d'organisation pour le run et apprendront comment faire évoluer sans incident votre application.

• S'avoir assurer le run au quotidien de modèle de Machine Learning
• Avoir conscience des problématiques organisationnelles, légales, vis à vis du MCO de modèle de Machine Learning
• Savoir améliorer continuellement les modèles de Machine Learning et l'architecture applicative sans causer d'incident de production
• Mettre en place une gouvernance de modèle de Machine Learning pour l'organisation et pour être conforme avec les obligations réglementaires
• Minimiser les coûts économiques, humains et environnementaux des modèles en production

• MLEngineer
• MLOps
• Data scientist maintenant des applications en production

Cette formation est dispensée par un·e ou plusieurs consultant·es d'OCTO Technology ou de son réseau de partenaires, expert·es reconnus des sujets traités.

Le processus de sélection de nos formateurs et formatrices est exigeant et repose sur une évaluation rigoureuse leurs capacités techniques, de leur expérience professionnelle et de leurs compétences pédagogiques.

L'évaluation des acquis se fait tout au long de la session au travers des ateliers et des mises en pratique.

Afin de valider les compétences acquises lors de la formation, un formulaire d'auto-positionnement est envoyé en amont et en aval de celle-ci.

En l'absence de réponse d'un ou plusieurs participants, un temps sera consacré en ouverture de session pour prendre connaissance du positionnement de chaque stagiaire sur les objectifs pédagogiques évalués.

Une évaluation à chaud est également effectuée en fin de session pour mesurer la satisfaction des stagiaires et un certificat de réalisation leur est adressé individuellement.

Jour 1

INTRODUCTION

• Les différents types de problème que l'on peut rencontrer en Machine Learning
• Les différents types d'erreurs
• Mise en pratique : "Visualiser différents types d'erreurs"

ASSURER LE RUN AU QUOTIDIEN D'UN POINT DE VUE TECHNIQUE

• Définition des concepts MCO, SLI, SLO et SLA
• Focus sur la qualité de données pour la Data Science
• Mise en pratique : "mettre en place un outil de suivi de la qualité des données"
• Le monitoring et l'alerting
• Mise en pratique : "Créer et implémenter des alertes"

Jour 2

RAPPELS ET RÉVISION DU JOUR 1

ASSURER LE RUN AU QUOTIDIEN D'UN POINT DE VUE TECHNIQUE (SUITE)

• Sécurité des modèles
• Mise en pratique : "Gérer une simulation de failles de sécurité"
• Démarche de scalabilité d'une application de ML
• Mise en pratique : "Mettre en place un scale"
• Choisir une stratégie de réentrainement
• Mise en pratique : "Automatiser le réentrainement et le déclencher en considérant une règle"

LE RUN AU NIVEAU DE L'ENTREPRISE

• Différents modèles organisationnels du run
• Mise en place d'une gouvernance de modèles : introduction à l'AI Act
• Minimisation des coûts financiers, humains, environnementaux (FinOps, Light MLOps)
• Mise en pratique : "Identifier les opportunités de minimisation des coûts sur le TP"

Jour 3

RAPPELS ET RÉVISION DES PRÉCÉDENTS JOURS

FAIRE ÉVOLUER MON APPLICATION

• Stratégies de déploiement / roll-out
• Mise en pratique : "Déployer un nouveau modèle sans downtime"
• Faire évoluer un contrat d'interface
• Mise en pratique : "Proposer une implémentation d'A/B testing"
• Garder l'humain dans la boucle
• Différents patterns d'architecture : serverless, architecture type par cloud provider, architecture des outils de MLOps, déploiement sur Edge (...)
• Mise en pratique : "Rédiger un Architecture Decision Record (ADR)"

BILAN ET CLÔTURE DE SESSION

• Synthèse des points abordés
• Partage sur la formation
• Questions/Réponses additionnelles

• Blog OCTO, article : "Pourquoi et quand découpler ses architectures de projets de Machine Learning pour en accélérer le delivery"
• Blog OCTO, article : "Machine Learning delivery : intégrer au plus tôt la sécurité"
• Blog OCTO, article : "[MLOps] Monitoring & proactive notification d'une application de Machine Learning"
• Blog OCTO, article : "Introducing Concept Drifts"
• La Duck Conf, talk : "Emmanuel-Lin Toulemonde - Histoire d'une architecture émergente"