Conceptos básicos de Hadoop

Apache Hadoop es un marco de software de código abierto que facilita el uso de una red de dispositivos informáticos para almacenar y procesar grandes conjuntos de datos mediante modelos de programación sencillos. Está diseñado para resolver problemas que implican el análisis de grandes cantidades de datos que van desde gigabytes hasta petabytes (un millón de gigabytes). El marco está escrito en Java y se basa en el modelo de programación MapReduce de Google. Este curso comienza con una introducción a Hadoop y a la utilidad de software de big data. Le enseñará las características, los tipos y las fuentes de información de los macrodatos. También se abordarán las diversas formas de analizar los macrodatos y sus beneficios. Se analizará una descripción general de Apache Hadoop, su marco, su historia y el ecosistema de Hadoop. A continuación, en la sección de práctica, estudiará cómo descargar, iniciar y conectarse a la máquina virtual de Cloudera mediante la plataforma Docker. Además, estudiará la arquitectura del sistema de archivos distribuidos (HDFS) de Hadoop. Se explicarán los componentes básicos de Hadoop, sus componentes y su flujo de trabajo. Además, se destacarán algunos comandos útiles del shell de HDFS que se utilizan para administrar archivos en los clústeres de HDFS y cómo crear directorios, mover, eliminar y leer archivos

A continuación, conoceremos MapReduce, estudiaremos su arquitectura y veremos cómo funciona. También aprenderá sobre el flujo de datos de MapReduce, la arquitectura YARN (Yet Another Resource Negotiator) y las diferencias entre los sistemas tradicionales de administración de bases de datos relacionales (RDBMS) y MapReduce. Posteriormente, se le enseñará la arquitectura de SQOOP y cómo importar y exportar datos mediante la interfaz de línea de comandos de SQOOP. La sintaxis para importar datos de RDBMS a HDFS y de RDBMS a Hive mediante la importación y exportación de datos de HDFS a RDBMS y de HIVE a RDBMS mediante la exportación de SQOOP se explicará en dos secciones prácticas. A continuación, estudiará Hive, su arquitectura, componentes y tipos de datos. Se destacarán los tipos de tablas de Hive, el esquema de Hive y el almacenamiento de datos. Además, se considerarán el motor de consultas SQL MPP de Impala, sus funciones y las diferencias entre Impala, Hive y la base de datos RDBMS tradicional. Además, en la sección práctica se abordará la creación de tablas Hive externas, la creación de tablas Hive administradas y la ejecución de consultas HQL e Impala para analizar los datos

A continuación, estudiará la creación de scripts con Pig en Hadoop. Aprenderás los tipos de datos de Pig, sus usos y cómo se ejecutan los scripts de Pig con el motor. También se explicará cómo cargar datos en Pig y cómo filtrar datos. En la sección práctica se describirá la creación de diferentes scripts de Pig Latin, la ejecución y el uso de diferentes funciones para ejecutar ETL (extraer, transformar y cargar) con Pig. A continuación, conocerás el sistema de programación de flujos de trabajo de Oozie para gestionar los trabajos de Hadoop. Se revisarán los tipos de trabajos en Oozie, su arquitectura, características y acciones. La parametrización de Oozie y el funcionamiento del control de flujo en el flujo de trabajo de Oozie se analizarán críticamente. En la sección de práctica, aprenderás a crear diferentes acciones en SQOOP, Hive y Pig. Este curso está dirigido a desarrolladores de bases de datos y bases de datos, desarrolladores de macrodatos, analistas de datos y a cualquier personal técnico que esté interesado en aprender y explorar las diversas funciones de Hadoop y sus herramientas. ¿Qué es lo que te hace esperar? ¡Inscríbase ahora y comience a aprender hoy mismo!