Noções básicas do Hadoop

Apache Hadoop é uma estrutura de software de código aberto que facilita o uso de uma rede de dispositivos de computador para armazenar e processar grandes conjuntos de dados usando modelos de programação simples. Ele foi projetado para resolver problemas que envolvem a análise de grandes quantidades de dados, de gigabytes a petabytes (um milhão de gigabytes). A estrutura é escrita em Java e é baseada no modelo de programação MapReduce do Google. Este curso começa com uma introdução ao Hadoop e ao utilitário de software de big data. Ele ensinará os recursos, tipos e fontes de informação em big data. As várias formas de analisar big data e seus benefícios também serão abordadas. Uma visão geral do Apache Hadoop, sua estrutura, história e o ecossistema Hadoop será discutida. Em seguida, na seção prática, você estudará como baixar, iniciar e se conectar à máquina virtual Cloudera usando a plataforma Docker. Além disso, você estudará a arquitetura do sistema de arquivos distribuídos Hadoop (HDFS). Os blocos de construção do Hadoop, seus componentes e fluxo de trabalho serão explicados. Além disso, alguns comandos úteis do shell HDFS usados para gerenciar arquivos nos clusters HDFS e como criar diretórios, mover, excluir e ler arquivos serão

Em seguida, você será apresentado ao MapReduce, estudando sua arquitetura e vendo como ela funciona. Você também aprenderá sobre o fluxo de dados do MapReduce, a arquitetura YARN (Yet Another Resource Negotiator) e as diferenças entre os sistemas tradicionais de gerenciamento de banco de dados relacional (RDBMS) e o MapReduce. Depois disso, você aprenderá a arquitetura do SQOOP e como importar e exportar dados usando a interface de linha de comando do SQOOP. A sintaxe para importar dados do RDBMS para o HDFS e do RDBMS para o Hive por meio da importação e exportação de dados do HDFS para o RDBMS e do HIVE para o RDBMS por meio da exportação do SQOOP será explicada em duas seções práticas. Em seguida, você estudará o Hive, sua arquitetura, componentes e tipos de dados. Os tipos de tabelas no Hive, o esquema do Hive e o armazenamento de dados serão destacados. Além disso, o mecanismo de consulta SQL Impala MPP, seus recursos e as diferenças entre Impala, Hive e o banco de dados RDBMS tradicional serão considerados. Além disso, a criação de tabelas externas do Hive, a criação de tabelas gerenciadas do Hive e a execução de consultas HQL e Impala para analisar os dados serão abordados na

Em seguida, você estudará os scripts do Pig no Hadoop. Você aprenderá os tipos de dados do Pig, seus usos e como os scripts do Pig são executados com o mecanismo. Também será explicado como carregar dados no Pig, bem como filtrar dados. A criação de diferentes scripts do Pig Latin, a execução e o uso de diferentes funções para executar ETL (extrair, transformar e carregar) usando o Pig serão descritos na seção prática. Em seguida, você será apresentado ao sistema de agendamento de fluxo de trabalho Oozie para gerenciar tarefas do Hadoop. Os tipos de empregos em Oozie, sua arquitetura, características e ações serão analisados. A parametrização do Oozie e o funcionamento do controle de fluxo no fluxo de trabalho do Oozie serão analisados criticamente. Na seção prática, você aprenderá como criar ações diferentes em SQOOP, Hive e Pig. Este curso é para desenvolvedores de bancos de dados e data houses, desenvolvedores de big data, analistas de dados e qualquer equipe técnica interessada em aprender e explorar os vários recursos do Hadoop e de suas ferramentas. O que faz você esperar? Inscreva-se agora e comece a aprender hoje mesmo!