Utilizzare la concatenazione dei dati con i sistemi Google Cloud

La derivazione dei dati mostra le relazioni tra le risorse del tuo progetto e i processi che le hanno create.

Puoi visualizzare i dettagli della derivazione dei dati nella console Google Cloud o recuperarli utilizzando l'API Data Lineage.

A seconda del volume di dati in fase di elaborazione, è necessario del tempo prima che la derivazione dei dati mostri un grafico. Per la maggior parte dei job sono necessarie tre ore, mentre per alcuni possono essere necessarie fino a 24 ore.

La derivazione viene acquisita tra i progetti. Quando visualizzi la derivazione generata da più progetti, puoi visualizzare le informazioni sulla derivazione aggregate in uno qualsiasi dei progetti pertinenti.

Ruoli e autorizzazioni

Per visualizzare la derivazione dei dati, devi disporre di autorizzazioni Identity and Access Management (IAM) specifiche. Le informazioni sulla derivazione vengono acquisite in più progetti, pertanto devi disporre delle autorizzazioni in più progetti.

• Quando visualizzi la derivazione in Dataplex Universal Catalog, BigQuery o Vertex AI: devi disporre delle autorizzazioni per visualizzare le informazioni sulla derivazione nel progetto in cui le visualizzi.

• Quando visualizzi la derivazione registrata in altri progetti, devi disporre delle autorizzazioni per visualizzare le informazioni sulla derivazione nei progetti in cui è stata registrata.

Per visualizzare la derivazione dei dati, devi disporre dei seguenti ruoli o autorizzazioni. Concedi questi ruoli all'entità (ad esempio, l'utente o il account di servizio) sulle risorse pertinenti (ad esempio, progetti o tabelle BigQuery).

• Data Lineage Viewer (roles/datalineage.viewer): concede l'autorizzazione a visualizzare la derivazione nella console Google Cloud e utilizzare l'API Data Lineage. Devi applicare questo ruolo ai progetti in cui viene registrata la derivazione e ai progetti in cui viene visualizzata la derivazione. Per saperne di più, consulta la sezione Tipi di progetto.

• Visualizzatore del Catalogo universale Dataplex (roles/dataplex.catalogViewer): concede l'autorizzazione per visualizzare i metadati degli asset catalogati in Dataplex Universal Catalog. Concedi questo ruolo ai progetti in cui sono archiviate le voci del catalogo per consentire agli utenti di visualizzare i dettagli delle voci nel grafico della derivazione. In alternativa, puoi concedere un ruolo di visualizzatore sul sistema di origine. Per saperne di più, consulta Cercare asset di dati con Dataplex Universal Catalog.

• Altre autorizzazioni BigQuery:

  • Per visualizzare i dettagli degli asset BigQuery nel grafico di derivazione, ad esempio le definizioni delle tabelle o le query di visualizzazione, concedi il ruolo Visualizzatore dati BigQuery (roles/bigquery.dataViewer).
  • Per visualizzare la query SQL di un job BigQuery che ha generato la derivazione, concedi l'autorizzazione bigquery.jobs.get. Questa autorizzazione è inclusa in ruoli come BigQuery Admin (roles/bigquery.admin) e BigQuery Resource Viewer (roles/bigquery.resourceViewer).

La derivazione dei dati monitora automaticamente le informazioni sulla derivazione quando abiliti l'API Data Lineage. Non hai bisogno di ruoli di amministratore o editor per acquisire la derivazione degli asset di dati.

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso. Puoi assegnare un ruolo a un livello di cartella o organizzazione superiore. Per ulteriori informazioni, consulta Concedere o revocare un singolo ruolo.

Tipi di visualizzazioni della derivazione dei dati

Puoi visualizzare le informazioni sulla derivazione sotto forma di grafico o elenco. Per impostazione predefinita, il grafico della derivazione mostra la derivazione a livello di tabella. Per i job BigQuery, puoi visualizzare la derivazione a livello di colonna nelle visualizzazioni sia a grafico che a elenco.

Sono disponibili i seguenti tipi di visualizzazione:

• Visualizzazione a grafo: mostra la derivazione come un grafico interattivo, consentendoti di esplorare le relazioni tra asset e colonne di dati espandendo i nodi.

• Visualizzazione elenco: mostra la derivazione in formato tabellare, fornendo rappresentazioni semplificate e dettagliate della derivazione a livello di tabella e di colonna. Puoi personalizzare le colonne ed esportare i dati di derivazione da questa visualizzazione.

Gli elementi chiave del grafico sono descritti come segue:

• Nodi: rappresentano le entità di dati. Nella visualizzazione a livello di tabella, un nodo mostra il nome della tabella e le relative colonne. Nella visualizzazione a livello di colonna, ogni nodo rappresenta una tabella specifica e le relative colonne con la derivazione.

• Archi: le linee che collegano i nodi e rappresentano i processi che si verificano tra loro. I bordi possono includere icone o etichette per fornire maggiori informazioni sulla trasformazione:

  • Icons: nella visualizzazione a livello di tabella, le icone vengono visualizzate sui bordi per rappresentare il processo di trasformazione. Quando esplori manualmente il grafico, le icone sui bordi rappresentano il sistema di origine del processo (ad esempio BigQuery o Vertex AI). Se sono coinvolti più processi, viene visualizzata un'icona "Più processi". Se il sistema di origine del processo è sconosciuto, viene utilizzata un'icona a forma di ingranaggio. Quando applichi i filtri, viene utilizzata un'icona a forma di ingranaggio per tutti i processi.
  • Etichette: nella visualizzazione a livello di colonna, gli archi sono etichettati per descrivere il tipo di dipendenza tra le colonne, ad esempio Exact copy o Other.

Abilita la derivazione dei dati

Attiva la derivazione dei dati per iniziare a monitorare automaticamente le informazioni sulla derivazione per i sistemi supportati. Devi abilitare l'API Data Lineage sia nel progetto in cui visualizzi la derivazione sia nei progetti in cui viene registrata. Per saperne di più, consulta Tipi di progetti.

1. Per acquisire le informazioni sulla derivazione, completa i seguenti passaggi:

   1. Nella console Google Cloud , nella pagina Selettore progetto, seleziona il progetto in cui vuoi registrare la derivazione.

      Vai al selettore di progetti

   2. Abilita l'API Data Lineage.

      Attiva l'API Data Lineage

   3. Ripeti i passaggi precedenti per ogni progetto in cui vuoi registrare la derivazione.

2. Nel progetto in cui visualizzi la derivazione, abilita l'API Data Lineage e l'API Dataplex.

   Abilita le API

Visualizza la derivazione nel Catalogo universale Dataplex

Puoi visualizzare le informazioni sulla derivazione dei dati nell'interfaccia web di Dataplex Universal Catalog.

Per visualizzare la derivazione, segui queste istruzioni:

1. Nella console Google Cloud , vai alla pagina Cerca di Dataplex Universal Catalog.

   Vai a Cerca

2. Seleziona Dataplex Universal Catalog come modalità di ricerca.

3. Cerca la voce che vuoi visualizzare e fai clic. Per saperne di più, consulta Cercare risorse in Dataplex Universal Catalog.

4. Fai clic sulla scheda Lignaggio.

   Si apre la visualizzazione predefinita Grafico, che mostra la derivazione a livello di tabella in tutti i sistemi e le regioni. Per ulteriori informazioni, vedi Visualizzazione del grafico della derivazione.

5. Per esplorare manualmente il grafico della derivazione, fai clic su Espandi accanto a un nodo per caricare altri cinque nodi alla volta.

   Per saperne di più, consulta Esplorare manualmente il grafico della derivazione.

6. Fai clic su un nodo nella visualizzazione Grafico.

   Si apre il riquadro Dettagli con informazioni sull'asset, ad esempio nome e tipo completamente qualificati. Per ulteriori informazioni, consulta Dettagli del nodo.

7. Fai clic su un bordo con un'icona di processo nella visualizzazione Grafico.

   Si apre il riquadro Query. Per maggiori informazioni, vedi Esaminare la logica di trasformazione e Controllo e cronologia delle esecuzioni.

   • Per esaminare la logica di trasformazione, fai clic sulla scheda Dettagli.

   • Per visualizzare l'audit e la cronologia delle esecuzioni, fai clic sulla scheda Esecuzioni.

8. Nel riquadro Esplora lignaggio, seleziona i criteri di filtro, ad esempio Direzione, Tipo di dipendenza o Intervallo di tempo, quindi fai clic su Applica.

   Si apre una visualizzazione mirata all'interno di una regione specifica (anteprima). Questa visualizzazione espande automaticamente il grafico fino a tre livelli di nodi. Per saperne di più, consulta Applicare filtri per una visualizzazione della lineage mirata.

9. Nella visualizzazione Grafico selezionata, seleziona un nodo, quindi nel riquadro dei dettagli del nodo, fai clic su Visualizza percorso per visualizzare il percorso di derivazione dal nodo selezionato alla voce principale (solo nella visualizzazione selezionata).

   Per ulteriori informazioni, vedi Visualizzazione del percorso di derivazione.

10. Per visualizzare la derivazione a livello di colonna (solo per i job BigQuery), esegui una delle seguenti operazioni:

    • In una visualizzazione Grafico mirata, fai clic sull'icona della colonna in una tabella.

      

    • Nel riquadro Esplora derivazioni, filtra per nome della colonna e fai clic su Applica.

    Per saperne di più, consulta la sezione Derivazione a livello di colonna.

11. Fai clic su restart_alt Reimposta.

    Questa azione rimuove tutti i filtri applicati e ti porta all'inizio della visualizzazione del grafico.

12. Fai clic su Elenco per passare alla visualizzazione elenco.

    La visualizzazione Elenco offre rappresentazioni tabellari semplificate e dettagliate della derivazione sia a livello di tabella che di colonna, sincronizzate con la visualizzazione Grafico. Per impostazione predefinita, viene visualizzata la visualizzazione elenco semplificata e puoi passare alla visualizzazione elenco dettagliata per analizzare le singole relazioni origine-destinazione. Puoi configurare le colonne visualizzate ed esportare i dati di derivazione. Per ulteriori informazioni, vedi Visualizzazione elenco della derivazione.

Visualizzare la derivazione in BigQuery

Puoi visualizzare le informazioni sulla derivazione dei dati nell'interfaccia web di BigQuery.

Per visualizzare la derivazione, segui queste istruzioni:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Apri la pagina BigQuery

2. Apri la tabella per cui vuoi visualizzare la derivazione dei dati.

3. Fai clic sulla scheda Lignaggio.

   Si apre la visualizzazione predefinita Grafico, che mostra la derivazione a livello di tabella in tutti i sistemi e le regioni. Per ulteriori informazioni, vedi Visualizzazione del grafico della derivazione.

4. Per esplorare manualmente il grafico della derivazione, fai clic su Espandi accanto a un nodo per caricare altri cinque nodi alla volta.

   Per saperne di più, consulta Esplorare manualmente il grafico della derivazione.

5. Fai clic su un nodo nella visualizzazione Grafico.

   Si apre il riquadro Dettagli con informazioni sull'asset, ad esempio nome e tipo completamente qualificati. Per ulteriori informazioni, consulta Dettagli del nodo.

6. Fai clic su un bordo con un'icona di processo nella visualizzazione Grafico.

   Si apre il riquadro Query. Per maggiori informazioni, vedi Esaminare la logica di trasformazione e Controllo e cronologia delle esecuzioni.

   • Per esaminare la logica di trasformazione, fai clic sulla scheda Dettagli.

   • Per visualizzare l'audit e la cronologia delle esecuzioni, fai clic sulla scheda Esecuzioni.

7. Nel riquadro Esplora lignaggio, seleziona i criteri di filtro, ad esempio Direzione, Tipo di dipendenza o Intervallo di tempo, quindi fai clic su Applica.

   Si apre una visualizzazione mirata all'interno di una regione specifica (anteprima). Questa visualizzazione espande automaticamente il grafico fino a tre livelli di nodi. Per saperne di più, consulta Applicare filtri per una visualizzazione della lineage mirata.

8. Nella visualizzazione Grafico selezionata, seleziona un nodo, quindi nel riquadro dei dettagli del nodo, fai clic su Visualizza percorso per visualizzare il percorso di derivazione dal nodo selezionato alla voce principale (solo nella visualizzazione selezionata).

   Per ulteriori informazioni, vedi Visualizzazione del percorso di derivazione.

9. Per visualizzare la derivazione a livello di colonna (solo per i job BigQuery), esegui una delle seguenti operazioni:

   • In una visualizzazione Grafico mirata, fai clic sull'icona della colonna in una tabella.

     

   • Nel riquadro Esplora derivazioni, filtra per nome della colonna e fai clic su Applica.

   Per saperne di più, consulta la sezione Derivazione a livello di colonna.

10. Fai clic su restart_alt Reimposta.

    Questa azione rimuove tutti i filtri applicati e ti porta all'inizio della visualizzazione del grafico.

11. Fai clic su Elenco per passare alla visualizzazione elenco.

    La visualizzazione Elenco offre rappresentazioni tabellari semplificate e dettagliate della derivazione sia a livello di tabella che di colonna, sincronizzate con la visualizzazione Grafico. Per impostazione predefinita, viene visualizzata la visualizzazione elenco semplificata e puoi passare alla visualizzazione elenco dettagliata per analizzare le singole relazioni origine-destinazione. Puoi configurare le colonne visualizzate ed esportare i dati di derivazione. Per ulteriori informazioni, vedi Visualizzazione elenco della derivazione.

Visualizzare la derivazione in Vertex AI

Sistemi come Vertex AI Pipelines generano dati di derivazione per modelli e set di dati Vertex AI. Puoi visualizzare le informazioni sulla derivazione dei dati nell'interfaccia web di Vertex AI.

Visualizzare la derivazione per un set di dati gestito in Vertex AI

Per visualizzare la derivazione di un set di dati:

1. Nella console Google Cloud , vai alla pagina Set di dati.

   Apri la pagina Set di dati

2. Fai clic sul set di dati per il quale vuoi visualizzare la derivazione dei dati.

3. Fai clic sulla scheda Lignaggio.

   Si apre la visualizzazione predefinita Grafico, che mostra la derivazione a livello di tabella in tutti i sistemi e le regioni. Per ulteriori informazioni, vedi Visualizzazione del grafico della derivazione.

4. Per esplorare manualmente il grafico della derivazione, fai clic su Espandi accanto a un nodo per caricare altri cinque nodi alla volta.

   Per saperne di più, consulta Esplorare manualmente il grafico della derivazione.

5. Fai clic su un nodo nella visualizzazione Grafico.

   Si apre il riquadro Dettagli con informazioni sull'asset, ad esempio nome e tipo completamente qualificati. Per ulteriori informazioni, consulta Dettagli del nodo.

6. Fai clic su un bordo con un'icona di processo nella visualizzazione Grafico.

   Si apre il riquadro Query. Per maggiori informazioni, vedi Esaminare la logica di trasformazione e Controllo e cronologia delle esecuzioni.

   • Per esaminare la logica di trasformazione, fai clic sulla scheda Dettagli.

   • Per visualizzare l'audit e la cronologia delle esecuzioni, fai clic sulla scheda Esecuzioni.

7. Nel riquadro Esplora lignaggio, seleziona i criteri di filtro, ad esempio Direzione, Tipo di dipendenza o Intervallo di tempo, quindi fai clic su Applica.

   Si apre una visualizzazione mirata all'interno di una regione specifica (anteprima). Questa visualizzazione espande automaticamente il grafico fino a tre livelli di nodi. Per saperne di più, consulta Applicare filtri per una visualizzazione della lineage mirata.

8. Nella visualizzazione Grafico selezionata, seleziona un nodo, quindi nel riquadro dei dettagli del nodo, fai clic su Visualizza percorso per visualizzare il percorso di derivazione dal nodo selezionato alla voce principale (solo nella visualizzazione selezionata).

   Per ulteriori informazioni, vedi Visualizzazione del percorso di derivazione.

9. Per visualizzare la derivazione a livello di colonna (solo per i job BigQuery), esegui una delle seguenti operazioni:

   • In una visualizzazione Grafico mirata, fai clic sull'icona della colonna in una tabella.

     

   • Nel riquadro Esplora derivazioni, filtra per nome della colonna e fai clic su Applica.

   Per saperne di più, consulta la sezione Derivazione a livello di colonna.

10. Fai clic su restart_alt Reimposta.

    Questa azione rimuove tutti i filtri applicati e ti porta all'inizio della visualizzazione del grafico.

11. Fai clic su Elenco per passare alla visualizzazione elenco.

    La visualizzazione Elenco offre rappresentazioni tabellari semplificate e dettagliate della derivazione sia a livello di tabella che di colonna, sincronizzate con la visualizzazione Grafico. Per impostazione predefinita, viene visualizzata la visualizzazione elenco semplificata e puoi passare alla visualizzazione elenco dettagliata per analizzare le singole relazioni origine-destinazione. Puoi configurare le colonne visualizzate ed esportare i dati di derivazione. Per ulteriori informazioni, vedi Visualizzazione elenco della derivazione.

Visualizza la derivazione di un modello in Vertex AI

Per visualizzare la derivazione di un modello:

1. Nella console Google Cloud , vai alla pagina Registro dei modelli.

   Apri la pagina Model Registry

2. Fai clic sul modello per cui vuoi visualizzare la derivazione dei dati.

3. Fai clic sulla scheda Lignaggio.

   Si apre la visualizzazione predefinita Grafico, che mostra la derivazione a livello di tabella in tutti i sistemi e le regioni. Per ulteriori informazioni, vedi Visualizzazione del grafico della derivazione.

4. Per esplorare manualmente il grafico della derivazione, fai clic su Espandi accanto a un nodo per caricare altri cinque nodi alla volta.

   Per saperne di più, consulta Esplorare manualmente il grafico della derivazione.

5. Fai clic su un nodo nella visualizzazione Grafico.

   Si apre il riquadro Dettagli con informazioni sull'asset, ad esempio nome e tipo completamente qualificati. Per ulteriori informazioni, consulta Dettagli del nodo.

6. Fai clic su un bordo con un'icona di processo nella visualizzazione Grafico.

   Si apre il riquadro Query. Per maggiori informazioni, vedi Esaminare la logica di trasformazione e Controllo e cronologia delle esecuzioni.

   • Per esaminare la logica di trasformazione, fai clic sulla scheda Dettagli.

   • Per visualizzare l'audit e la cronologia delle esecuzioni, fai clic sulla scheda Esecuzioni.

7. Nel riquadro Esplora lignaggio, seleziona i criteri di filtro, ad esempio Direzione, Tipo di dipendenza o Intervallo di tempo, quindi fai clic su Applica.

   Si apre una visualizzazione mirata all'interno di una regione specifica (anteprima). Questa visualizzazione espande automaticamente il grafico fino a tre livelli di nodi. Per saperne di più, consulta Applicare filtri per una visualizzazione della lineage mirata.

8. Nella visualizzazione Grafico selezionata, seleziona un nodo, quindi nel riquadro dei dettagli del nodo, fai clic su Visualizza percorso per visualizzare il percorso di derivazione dal nodo selezionato alla voce principale (solo nella visualizzazione selezionata).

   Per ulteriori informazioni, vedi Visualizzazione del percorso di derivazione.

9. Per visualizzare la derivazione a livello di colonna (solo per i job BigQuery), esegui una delle seguenti operazioni:

   • In una visualizzazione Grafico mirata, fai clic sull'icona della colonna in una tabella.

     

   • Nel riquadro Esplora derivazioni, filtra per nome della colonna e fai clic su Applica.

   Per saperne di più, consulta la sezione Derivazione a livello di colonna.

10. Fai clic su restart_alt Reimposta.

    Questa azione rimuove tutti i filtri applicati e ti porta all'inizio della visualizzazione del grafico.

11. Fai clic su Elenco per passare alla visualizzazione elenco.

    La visualizzazione Elenco offre rappresentazioni tabellari semplificate e dettagliate della derivazione sia a livello di tabella che di colonna, sincronizzate con la visualizzazione Grafico. Per impostazione predefinita, viene visualizzata la visualizzazione elenco semplificata e puoi passare alla visualizzazione elenco dettagliata per analizzare le singole relazioni origine-destinazione. Puoi configurare le colonne visualizzate ed esportare i dati di derivazione. Per ulteriori informazioni, vedi Visualizzazione elenco della derivazione.

Passaggi successivi

• Monitorare la derivazione dei dati per i job di copia e query di una tabella BigQuery.

• Scopri di più sul modello informativo della derivazione dei dati.

• Scopri di più sulle considerazioni sulla derivazione dei dati.

• Scopri di più sull'audit logging della lineage dei dati.

• Scopri come risolvere i problemi relativi alla derivazione dei dati.

• Scopri come eseguire l'integrazione con OpenLineage.