Architecture des données : stockage et accès Mixte : présentiel / à distance

Dernière mise à jour : 29/06/2024

Appréhender et prendre en main les nouvelles architectures de données : Hadoop, NoSQL, Spark

Type : Stage pratique

Description

Si les algorithmes de Machine Learning ont connu des avancées majeures ces dernières années, c'est avant tout grâce à la quantité d'information disponible pour les entraîner. Accumuler toute cette donnée, la traiter, et la rendre disponible sont les enjeux principaux du mouvement Big Data.

 

Au cours de cette formation, nos consultants mettent à disposition les connaissances issues de leurs retours d'expériences auprès de nos clients, et vous font découvrir les bases des architectures permettant de répondre à ces enjeux de stockage et d'accès.

Objectifs de la formation

  • Découvrir les notions centrales de stockage de données
  • Appréhender les enjeux des nouvelles architectures de données (Hadoop, NoSQL, Spark), et positionner leurs usages au sein de l'univers Big Data
  • Savoir manipuler ces technologies et les bases de données de façon conjointe, pour mener à bien des analyses efficaces

Public visé

  • Analyste
  • Statisticien
  • Développeur

Prérequis

  • Notions de programmation sur la base d'un langage quelconque
  • Manipulation basique de la ligne de commande Linux

Modalités pédagogiques

Formation avec apports théoriques, échanges sur les contextes des participants et retours d'expérience pratique du formateur, complétés de travaux pratiques et de mises en situation.

Profil du / des Formateur(s)

Cette formation est dispensée par un·e ou plusieurs consultant·es d'OCTO Technology ou de son réseau de partenaires, expert·es reconnus des sujets traités.

Le processus de sélection de nos formateurs et formatrices est exigeant et repose sur une évaluation rigoureuse leurs capacités techniques, de leur expérience professionnelle et de leurs compétences pédagogiques.

Modalités d'évaluation et de suivi

L'évaluation des acquis se fait tout au long de la session au travers des ateliers et des mises en pratique.

Afin de valider les compétences acquises lors de la formation, un formulaire d'auto-positionnement est envoyé en amont et en aval de celle-ci.

En l'absence de réponse d'un ou plusieurs participants, un temps sera consacré en ouverture de session pour prendre connaissance du positionnement de chaque stagiaire sur les objectifs pédagogiques évalués.

Une évaluation à chaud est également effectuée en fin de session pour mesurer la satisfaction des stagiaires et un certificat de réalisation leur est adressé individuellement.

Programme

Jour 1

 

INTRODUCTION

 

ACCÈS AUX DONNÉES

Les fichiers

  • Arborescence
  • Formats

 

Les bases de données

  • Notion de Catalogue
  • Le langage SQL
  • Data Warehouses et Data Lake
  • Bases d'analyse

 

API

  • Définition
  • Web Scraping

Traitements en mémoire

 

ARCHITECTE DE DONNÉES

Limites des systèmes traditionnels

  • Limites des fichiers
  • Limites des SGBD

 

Les architectures distribuées

  • Patterns d'accès
  • 1OLTP
  • 2OLAP
  • Distribution vs Réplication

 

Concepts essentiels

  • Disponibilités
  • Cohérence
  • Tolérance à la partition

Le théorème CAP

Quorums

 

BASES NOSQL

Avantages et inconvénients

Modèles de données

  • Key-Value
  • Documents
  • Column-Family
  • Graph

 

Exemple : MongoDB

 

Les moteurs de recherche

 

JOUR 2

 

HADOOP

Introduction à Hadoop

  • Histoire
  • Ecosystème

 

HDFS

Map-Reduce

  • Les phases de Map-Reduce
  • Notion de job
  • Exemple

 

YARN

 

Les distributions

 

La ligne de commande

 

Administration d'un cluster

  • Resource Manager
  • History Server
  • Hue

 

ÉTUDES DE CAS

Traitements de courbes de charge

  • Contexte et hypothèses
  • Raisonnements

 

Analyse de logs

  • Contexte et Hypothèses
  • Raisonnements

 

CONCLUSION

Rappels des points abordés

Questions et réponses

Synthèse

 

Jour 3

 

DÉCOUVERTE DE SPARK

Spark Core

  • RDD
  • Transformations
  • Pair RDD

 

Spark SQL

 

Spark Streaming

 

Structured Streaming

Exposé (%)

50

Pratique (%)

40

Echanges (%)

10

Session sélectionnée

  • 11/12/24 → 13/12/24
    OCTO Academy - PARIS -
  • Détails :

    11/12/24 : 9:30 → 12:30
    13:30 → 17:30
    12/12/24 : 9:00 → 12:30
    13:30 → 17:00
    13/12/24 : 9:00 → 12:30
    13:30 → 17:00

Prochaines Sessions

  • 12/05/25 → 14/05/25
    OCTO Academy - PARIS -
  • 15/10/25 → 17/10/25
    OCTO Academy - PARIS -

Dans la même catégorie

Retour Site