Fundamentos de Hadoop

Apache Hadoop es una infraestructura de software de código abierto que facilita el uso de una red de dispositivos informáticos para almacenar y procesar conjuntos de datos grandes utilizando modelos de programación sencillos. Está diseñado para resolver problemas que implican analizar grandes cantidades de datos que van desde gigabytes a petabytes (un millón de gigabytes). La infraestructura se escribe en Java y se basa en el modelo de programación MapReduce de Google. Este curso comienza con una introducción a Hadoop y una gran utilidad de software de datos. Le enseñará las características, tipos y fuentes de información en Big Data. También se cubrirán las diversas formas de analizar los grandes datos y sus beneficios. Se discutirá una visión general de Apache Hadoop, su infraestructura, historia y el ecosistema de Hadoop. A continuación, en la sección de práctica, estudiará cómo descargar, iniciar y conectarse a la máquina virtual Cloudera utilizando la plataforma Docker. Además, estudiará la arquitectura del sistema de archivos distribuido Hadoop (HDFS). Los bloques de construcción de Hadoop, sus componentes y el flujo de trabajo se explicarán. Además, se resaltarán algunos mandatos de shell HDFS útiles utilizados para gestionar archivos en los clústeres de HDFS y cómo crear directorios, mover, suprimir y leer archivos.

A continuación, se le presentará a MapReduce, estudiando su arquitectura y viendo cómo funciona. También aprenderá sobre el flujo de datos de la arquitectura MapReduce, YARN (Yet Another Resource Negotiator) y las diferencias entre los sistemas de gestión de bases de datos relacionales tradicionales (RDBMS) y MapReduce. Posteriormente, se le enseñará la arquitectura de SQOOP y cómo importar y exportar datos utilizando la interfaz de línea de mandatos SQOOP. La sintaxis para importar datos de RDBMS a HDFS y de RDBMS a Hive mediante la importación de SQOOP y la exportación de datos de HDFS a RDBMS y de HIVE a RDBMS a través de la exportación SQOOP se explicará en dos secciones de práctica. Luego, estudiarás Hive, su arquitectura, componentes y tipos de datos. Se resaltarán los tipos de tablas de Hive, el esquema Hive y el almacenamiento de datos. Además, se considerará el motor de consulta SQL Impala MPP, sus características y las diferencias entre Impala, Hive y la base de datos RDBMS tradicional. Además, la creación de tablas Hive externas, la creación de tablas Hive gestionadas y la ejecución de consultas HQL e Impala para analizar los datos se cubrirán en la sección de práctica.

A continuación, estudiará los scripts de Pig en Hadoop. Aprenderá los tipos de datos Pig, sus usos y cómo se ejecutan los scripts Pig con el motor. También se explicará cómo cargar datos en Pig, así como filtrar datos. La creación de diferentes scripts de Pig Latin, la ejecución y el uso de diferentes funciones para realizar ETL (extracción, transformación y carga) utilizando Pig se delineará en la sección de práctica. A continuación, se le introducirá en el sistema de planificación de flujo de trabajo Oozie para gestionar trabajos Hadoop. Se revisarán los tipos de trabajos en Oozie, su arquitectura, características y acciones. La parametrización de Oozie y cómo funciona el control de flujo en el flujo de trabajo de Oozie serán analizadas críticamente. En la sección de práctica, aprenderá a crear diferentes acciones en SQOOP, Hive y Pig. Este curso es para desarrolladores de bases de datos y data house, desarrolladores de big data, analistas de datos y cualquier personal técnico que esté interesado en aprender y explorar las diversas características de Hadoop y sus herramientas. ¿Qué te mantiene esperando? ¡Inscribirse ahora y empezar a aprender hoy!