Loading

Alison's New App is now available on iOS and Android! Download Now

Module 1: I Big Data Managed Services nel Cloud

Study Reminders
Support
Text Version

Set your study reminders

We will email you at these times to remind you to study.
  • Monday

    -

    7am

    +

    Tuesday

    -

    7am

    +

    Wednesday

    -

    7am

    +

    Thursday

    -

    7am

    +

    Friday

    -

    7am

    +

    Saturday

    -

    7am

    +

    Sunday

    -

    7am

    +

BigQuery Google's Enterprise Data Warehouse
In quest' ultimo argomento che si impara su BigQuery, BigQuery è un data warehouse analitico a basso costo di petabyte. Bigquery è serverless lì non ci sono infrastrutture per gestire noi don Non serve un amministratore di database è una potente piattaforma di big data analytics utilizzata da tutti i tipi di organizzazioni da start-up a Fortune 500 aziende un breve video animato segue che introduce BigQuery e come aiuta a gestire la complessità di oggi i dati del servizio bigquery sostituisce il tipico setup hardware per un archivio dati aggiuntivo che è funge da casa collettiva per tutti i tuoi dati analitici all'interno della tua organizzazione. I dataset sono raccolte di tabelle, viste e non solo i modelli di machine learning possono suddividere le linee di business lawn o dare una dorsale analitica. Ogni dataset è legato ad un Lago di dati logici gcp potrebbe contenere file in Google store o Google drive o dati transazionali e cloud big table. BigQuery può definire schema in questione query direttamente contro queste sorgenti di dati esterne chiamate querys federate. Le tabelle e le viste di database funzionano allo stesso modo in bigquery come fanno in un tradizionale data warehouse che permette a bigquery di supportare query che sono scritte in un dialetto SQL standard che si chiama nc-20 11 conformità. L'identità cloud e la gestione degli accessi viene utilizzata per concedere l'autorizzazione ad eseguire azioni specifiche all'interno di queste istruzioni rilasciate e revocare le istruzioni che potreste aver visto prima di gestire i permessi di accesso nei database SQL tradizionali. I tradizionali magazzini di dati sono difficili da gestire e funzionano a loro volta progettati per un paradigma di batch e hanno fatto analytics per la segnalazione operativa sono i dati e il data warehouse doveva essere utilizzato solo da pochi gestionali per soli scopi di segnalazione bigquery per contrasto è un moderno magazzino dati che cambia la modalità convenzionale dei data warehousing let's guarda alcuni di questi confronti chiave tra un tradizionale magazzino dati e quello che si ottiene con la grande query. BigQuery fornisce meccanismi per i meccanismi di determinazione dei prezzi per le applicazioni di trasferimento di energia e di potenze che i tuoi team già sanno quando usano in modo che ognuno abbia accesso alle intuizioni dei dati se si crea leggi solo le fonti dei dati di condivisione che sia gli utenti interni che quelli esterni possono interrogare e quindi rendere tali risorse di query accessibili a chiunque quindi strumenti user-friendly come Google sheets looker tableau click o Google data studio. BigQuery depone le basi per l'AI di cui è possibile formare i modelli tensoriali e i modelli di apprendimento automatico di Google Cloud direttamente con i dataset memorizzati in bigquery e bigquery ml possono essere utilizzati per costruire e addestrare i modelli di macchinari con l'utilizzo di appena sql   la mia caratteristica preferita un'altra funzionalità estesa è BigQuery GIS che consente alle organizzazioni di analizzare i dati geografici in Bigquery essenziali a molte decisioni aziendali critiche che girano intorno ai dati di localizzazione. BigQuery consente inoltre alle organizzazioni di analizzare gli eventi aziendali in tempo reale inserendo automaticamente i dati e rendendolo immediatamente disponibile per interrogare all'interno del data warehouse questo è supportato dalla capacità della grande cava di ingerire fino a 100000 righe di dati al secondo come a questa registrazione e 4 petabyte di dati da stare tranquilli grazie alla nostra infrastruttura serverless completamente gestita e globalmente disponibile o elimina i lavori associati al provisioning e al mantenimento di un tradizionale magazzino dati e infrastrutture. Bigquery semplifica anche le operazioni di dati attraverso l'utilizzo dell'identità e della gestione degli accessi o IAM per controllare gli accessi degli utenti alle proprie risorse creando ruoli e gruppi e assegnando i permessi per l'esecuzione di quei lavori bigquery nelle query in un progetto e forniscono anche backup e repliche automatiche. Bigquery è un servizio completamente gestito che significa che il team di ingegneria Bigquery qui a Google si prende cura di tutti gli aggiornamenti e l'aggiornamento di manutenzione deve passare al downtime o ostacolare una performance di sistema questo frese ore reali per non doversi preoccupare di questi compiti di manutenzione comune. Gli utenti semplicemente non hanno bisogno di risorse di fornitura prima di utilizzare bigquery diversamente da molti per ottenere le risorse di storage del mio sistema. Le risorse di archiviazione vengono assegnate man mano che gli utenti li consumano e vengono deallocati mentre rimuovono i dati o abbassano quelle tabelle. Le risorse di query vengono assegnate in base al tipo di query nella complessità di quella SQL ogni query utilizza un numero di quelle che vengono chiamate slot unità di concorrenza che comprendono una certa quantità di CPU e ram. Gli utenti don T. devono fare un impegno minimo di utilizzo per noi bigquery il servizio allocchi e tariffe per le risorse in base all'effettivo utilizzo per impostazione predefinita tutti gli utenti bigquery hanno accesso a 2000 slot per le operazioni di query possono anche riservare una serie di slot fissi per il loro progetto se volete. Ci sono situazioni in cui possiamo interrogare i dati senza caricarlo ad esempio quando si utilizza un file di registrazione di dati di condivisione dati pubblici come fonti di dati esterne per altre situazioni è necessario prima caricare i propri dati in una bigquery prima di poter eseguire le vostre query nella maggior parte dei casi in cui si caricano i dati in memoria nativa di bigquery è possibile esportare i dati lo strumento   gsutil è un'applicazione python che consente di accedere al cloud storage dalla riga di comando è possibile utilizzare gsutil per effettuare una vasta gamma di bucket e una attività di gestione degli oggetti inclusa l'upload e la cancellazione di quegli oggetti l'installazione ufficialmente supportata del metodo per gsutil è il farlo come parte del Google Cloud SDK. Lo strumento della riga di comando bigquery è un altro strumento di linea di comando basato su pipeline ed è installato anche su SDK lo strumento della linea di comando bq ha anche molte funzioni all'interno di bigquery ma per il caricamento di questo è il buono per i grandi file di dati upload che creano schimas e caricamento dati con un solo comando è possibile utilizzare l'interfaccia web bigquery nella console gcp come un modo visivo per completare varie attività incluso il caricamento di un'eccellente intestazione oltre ad eseguire le query la bigquery   API consente un'ampia gamma di servizi come il flusso di dati cloud e il cloud dataproc come abbiamo parlato circa in precedenza per caricare o estrarre dati da e per bigquery. Il servizio di trasferimento dati bigquery per la memoria Cloud consente di programmare carichi di dati ricorrenti dal cloud storage 2 bigquery e anche il movimento automatizzato di dati da una serie di applicazioni software - as - a - service in bigquery su programmazione e gestione gestita. Il servizio di trasferimento dati BigQuery è accessibile tramite la console gcp la web bigquery web U lo strumento della linea di comando BQ o i servizi di trasferimento dati BiGINTERR un'altra alternativa al caricamento dei dati è solo flusso di dati un record alla volta. Lo streaming   viene tipicamente utilizzato quando si hanno bisogno dei dati per essere immediatamente disponibili come un sistema di rilevamento delle frodi o un sistema di monitoraggio. Mentre i lavori di loa sono gratuiti e bigquery c'è una carica per i dati in streaming quindi il suo importante per utilizzare lo streaming in situazioni in cui i benefici superano i costi. Per usufruire appieno di bigquery come ingegner analitico è necessario memorizzare i propri dati all'interno di una memoria nativa di bigquery, tuttavia il caso di utilizzo specifico potrebbe beneficiare di analizzare le fonti esterne autonomamente o unite all'interno di un negozio di bigquery. Google data studio così come molti strumenti partner già integrati con bigquery possono essere utilizzati per disegnare analytics da bigquery e costruire sofisticate visualizzazioni interattive e dashboard per le vostre squadre.