Principes de base de Hadoop

Apache Hadoop est un framework logiciel open source qui facilite l'utilisation d'un réseau de périphériques informatiques pour stocker et traiter de grands ensembles de données à l'aide de modèles de programmation simples. Il est conçu pour résoudre les problèmes qui impliquent l'analyse de grandes quantités de données allant de gigaoctets à pétaoctets (un million de gigaoctets). Le framework est écrit en Java et est basé sur le modèle de programmation MapReduce de Google. Ce cours commence par une introduction à Hadoop et à l'utilitaire logiciel Big Data. Il vous apprendra les caractéristiques, les types et les sources d'informations des mégadonnées. Les différentes méthodes d'analyse des mégadonnées et leurs avantages seront également abordés. Une présentation d'Apache Hadoop, de son framework, de son historique et de l'écosystème Hadoop sera abordée. Ensuite, dans la section pratique, vous apprendrez comment télécharger, démarrer et vous connecter à la machine virtuelle Cloudera à l'aide de la plateforme Docker. En outre, vous étudierez l'architecture du système de fichiers distribué Hadoop (HDFS). Les éléments constitutifs de Hadoop, ses composants et son flux de travail seront expliqués. En outre, certaines commandes utiles du shell HDFS utilisées pour gérer les fichiers sur les clusters HDFS et comment créer des répertoires, déplacer, supprimer et lire des fichiers seront mises

Ensuite, vous découvrirez MapReduce, étudierez son architecture et verrez comment elle fonctionne. Vous découvrirez également le flux de données de MapReduce, l'architecture YARN (Yet Another Resource Negotiator) et les différences entre les systèmes de gestion de bases de données relationnelles (SGBDR) traditionnels et MapReduce. Par la suite, vous apprendrez l'architecture de SQOOP et comment importer et exporter des données à l'aide de l'interface de ligne de commande SQOOP. La syntaxe pour importer des données du SGBDR vers HDFS et du SGBDR vers Hive via SQOOP, importer et exporter des données de HDFS vers le SGBDR et de HIVE vers le SGBDR via l'exportation SQOOP sera expliquée dans deux sections pratiques. Ensuite, vous étudierez Hive, son architecture, ses composants et ses types de données. Les types de tables dans Hive, le schéma Hive et le stockage des données seront mis en évidence. En outre, le moteur de requêtes SQL Impala MPP, ses fonctionnalités et les différences entre Impala, Hive et la base de données SGBDR traditionnelle seront pris en compte. La création de tables Hive externes, la création de tables Hive gérées et l'exécution de requêtes HQL et Impala pour analyser les données seront également abordées dans la section pratique

Ensuite, vous allez étudier les scripts Pig dans Hadoop. Vous apprendrez les types de données Pig, leurs utilisations et la façon dont les scripts Pig sont exécutés avec le moteur. La manière de charger des données dans Pig ainsi que le filtrage des données seront également expliquées. La création de différents scripts Pig Latin, l'exécution et l'utilisation de différentes fonctions pour effectuer l'ETL (extraire, transformer et charger) à l'aide de Pig seront décrites dans la section pratique. Ensuite, vous découvrirez le système de planification des flux de travail Oozie pour gérer les tâches Hadoop. Les types d'emplois dans Oozie, son architecture, ses fonctionnalités et ses actions seront passés en revue. Le paramétrage d'Oozie et le fonctionnement du contrôle de flux dans le flux de travail Oozie seront analysés de manière critique. Dans la section pratique, vous apprendrez à créer différentes actions dans SQOOP, Hive et Pig. Ce cours s'adresse aux développeurs de bases de données et de data houses, aux développeurs de mégadonnées, aux analystes de données et à tout personnel technique souhaitant apprendre et explorer les différentes fonctionnalités d'Hadoop et de ses outils. Qu'est-ce qui te fait attendre ? Inscrivez-vous dès maintenant et commencez à apprendre dès aujourd'hui !