Kakfa - Développement

Apache Kafka est un système de messagerie distribuée construit pour supporter des flux d'évènements liés au Big Data. Développé initialement par LinkedIn, il est dorénavant distribué en Open Source par la fondation Apache et connaît un fort déploiement en entreprise.

Cette formation orientée développeur et architectes a pour vocation de faire comprendre les cas d'utilisation d'Apache Kafka et de proposer de nombreux ateliers pratiques permettant de se familiariser avec les différentes APIs de Kafka, et les principales configurations possibles pour les producteurs et consommateurs de message.

Objectif opérationnel

Comprendre les cas d'utilisation d'Apache Kafka et se familiariser avec les différentes APIs de Kafka.

Objectifs pédagogiques

À l'issue de cette formation Apache Kafka, vous serez en mesure de :

• Comprendre l'architecture en cluster de Kafka
• Différencier ces différents cas d'utilisation
• Utiliser les APIs Kafka de production/consommation de messages
• Utiliser les APIs Kafka Connect/ Kafka Admin
• Aborder les APIs Kafka Stream et le serveur kSQLDB
• Configurer les topics en fonctions des contraintes de fiabilité et de débit de vos applications

Notre contenu n'a pas pour vocation l'entraînement au passage de la certification, cependant, il couvre l'ensemble des sujets de la certification Kafka Confluent Developer, et en cela permet de grandement faciliter l'obtention de cette certification pour quelqu'un qui voudrait la passer à l'issue de cette formation.

Le coût de la certification Kafka n’est pas inclus dans le tarif. Si le stagiaire souhaite passer la certification, il devra faire sa demande d’inscription directement sur le site web : https://fr.confluent.io/certification/

Cout de la certification : 150$

Pour suivre cette formation Apache Kafka, il est recommandé d'avoir une bonne connaissance du développement en Java ou C#. Les développeurs confirmés Python ou Javascript peuvent également suivre cette formation.

J'évalue mes connaissances pour vérifier que je dispose des prérequis nécessaires pour profiter pleinement de cette formation en faisant ce test.

Cette formation est dispensée par un·e ou plusieurs consultant·es d'OCTO Technology ou de son réseau de partenaires, expert·es reconnus des sujets traités.

Le processus de sélection de nos formateurs et formatrices est exigeant et repose sur une évaluation rigoureuse leurs capacités techniques, de leur expérience professionnelle et de leurs compétences pédagogiques.

INTRODUCTION À APACHE KAFKA  

• Naissance, historique, objectifs du projet
• Les différents cas d'utilisation de Kafka
• Concepts et composants du système : Contrôleur, brokers, topics, partitions, consumers, producers

LE CLUSTER KAFKA

• Les noeuds d'un cluster
• Distributions et installation
• Les utilitaires de la distribution
• Les outils graphiques d'administration

Travaux Pratiques :

• Démarrage cluster via docker compose
• Création de topic, envoi et réception de messages via les commandes en ligne
• Parcours des UIs d'administration

KAFKA APIs

• Producers API
• Consumers API
• Utilisation d'un Schema Registry
• Connect API
• Admin API
• Frameworks Java : Spring, Quarkus

Travaux Pratiques :

Développement d'un producteur de message, puis d'un consommateur, Mise en place sérialisation Avro et Schema Registry, Connect API avec ELK,

LES GARANTIES KAFKA

• Mécanisme de réplication
• At Most Once, At Least Once
• Transactions et Exactly Once
• Débit, latence, durabilité
• Stockage et rétention

Travaux Pratiques :

Implémentation des différentes sémantiques de transmisssion, tests avec injection de défaillance

INTRODUCTION À KAFKASTREAM ET kSQLDB

• Concepts KafkaStream
• Opérateurs stateles 
• Opérateurs stateful
• La proposition kSQLDB

Travaux Pratiques :

Filtrage d'évènements, Inversion de clé, Agrégations, Démarrer avec kSQLDB

SÉCURITÉ 

• Configuration des Listeners
• Mise en place TLS
• Authentification via SASL
• ACLs
• Quotas

Travaux Pratiques :

Mise en place TLS, SASL avec oAUTH, ACLs et Quotas