Bases de Hadoop

Apache Hadoop est un framework logiciel open-source qui facilite l'utilisation d'un réseau d'ordinateurs pour stocker et traiter de grands ensembles de données à l'aide de modèles de programmation simples. Il est conçu pour résoudre des problèmes impliquant l'analyse de grandes quantités de données allant de gigaoctets à pétaoctets (un million de gigaoctets). Le framework est écrit en Java et est basé sur le modèle de programmation MapReduce de Google. Ce cours commence par une introduction à Hadoop et un grand utilitaire de données. Il vous enseignera les caractéristiques, les types et les sources d'information dans les grandes données. Les différentes façons d'analyser les grandes données et leurs avantages seront également couvertes. Une vue d'ensemble de Apache Hadoop, de son cadre, de son histoire et de l'écosystème Hadoop sera discutée. Ensuite, dans la section des pratiques, vous étudierez comment télécharger, démarrer et se connecter à la machine virtuelle Cloudera à l'aide de la plateforme Docker. De plus, vous étudierez l'architecture du système de fichiers distribué Hadoop (HDFS). Les composantes de Hadoop, ses composantes et son enchaînement d'activités seront expliqués. En outre, certaines commandes de shell HDFS utiles utilisées pour gérer des fichiers sur les clusters HDFS et comment créer des répertoires, déplacer, supprimer et lire des fichiers seront mises en évidence.

Ensuite, vous serez introduit dans MapReduce, en étudiant son architecture et en voyant comment ça fonctionne. Vous en apprendrez également sur le flux de données de MapReduce, l'architecture YARN (Yet Another Resource Negotiator) et les différences entre les systèmes de gestion de base de données relationnelle (RDBMS) et MapReduce. Par la suite, on vous enseignera l'architecture de SQOOP et comment importer et exporter des données à l'aide de l'interface de ligne de commande SQOOP. La syntaxe d'importation des données du SGBDR au HDFS et du SGBDR à Hive à l'importation et à l'exportation des données du HDFS vers le SGBDR et du VIHDE au SGBDR par l'entremise de l'exportation du SQOOP sera expliquée dans deux sections de pratique. Ensuite, vous étudierez la Hive, son architecture, ses composants et ses types de données. Les types de tables dans Hive, le schéma Hive et le stockage de données seront mis en évidence. En outre, le moteur de requête SQL Impala MPP, ses caractéristiques et les différences entre Impala, Hive et la base de données RDBMS traditionnelle seront pris en compte. En outre, la création de tables Hive externes, la création de tables Hive gérées et l'exécution de requêtes HQL et Impala pour l'analyse des données seront traitées dans la section de pratique.

Ensuite, vous étudierez le script Pig à Hadoop. Vous allez apprendre les types de données Pig, leurs utilisations et comment les scripts Pig sont exécutés avec le moteur. La façon de charger les données dans Pig ainsi que les données de filtrage seront également expliquées. La création de différents scripts Pig Latin, l'exécution et l'utilisation de fonctions différentes pour effectuer des ETL (extraction, transformation et chargement) à l'aide de Pig seront décrites dans la section de pratique. Ensuite, vous serez introduit dans le système de planification de flux de travaux Oozie pour gérer les travaux Hadoop. Les types d'emplois dans Oozie, son architecture, ses caractéristiques et ses actions seront examinés. La paramétrisation d'Oozie et la façon dont le contrôle du débit dans le workflow Oozie fonctionne seront analysées de façon critique. Dans la section de pratique, vous allez apprendre à créer différentes actions dans SQOOP, Hive et Pig. Ce cours est destiné aux développeurs de bases de données et de données, aux développeurs de données, aux analystes de données et à tout personnel technique intéressé à apprendre et à explorer les différentes fonctionnalités de Hadoop et de ses outils. Qu'est-ce qui vous fait attendre? Inscrire maintenant et commencer à apprendre aujourd'hui !