Software di Data Governance: erwin Data Intelligence in azione

0:04: Partiamo da una specie di home page che mi fa vedere in generale, tutti i dati che ho all’interno di erwin Data Intelligence in questo momento.

0:28: Questo home page qui permette di vedere la quantità di dati che ho all’interno. Prima di entrare nello specifico, però, vediamo di entrare in confidenza su che dati ho in questo momento. Sulla sinistra abbiamo un Menù principale. Erwin data intelligence si suddivide in queste parti. Il mio intervento si soffermerà sul data catalog, anch’esso suddiviso in sottosezioni: resource manager che permette di configurare i vari ruoli tra gli utenti, perché tutto quello che vi mostrerò è ovviamente configurabile a livello di visibilità e funzionalità in base all’account specifico.

1:04: Il metadata manager che è un catalogo dei dati. Il mapping manager che mi permette di individuare le trasformazioni. Le altre sottosezioni non le vedremo nello specifico, perché sono più di tipo configurativo tecnico. Volevo solo mettere in luce il fatto che il release manager permette di avere una visione più progettuale del mondo dei dati, in particolare, per esempio, segnare le date di rilascio e diciamo oggettivare il tutto partendo dal metadata manager.

1:35: Esso si suddivide in una dashboard che permette di visionare il dato che ho all’interno, nella parte alta mi subito mi fa vedere quanti System, quanti Environment, quante Tables e quante Colums ho all’interno. Questi sono i quattro asset tecnici collegati alla sensitività perché io posso valorizzare la sensitività del dato, quindi magari se pubblico, se privato eccetera. Ho una visione anche che mi suddivide i database per tipologia di database o per tipologia di data source.

2:27: Ho poi una visione del dato suddiviso per sensibilità e diciamo tutto il resto è ovviamente una dashboard configurabile che mi permette di mostrare graficamente alcuni campi del dato stesso.

2:41: Andando invece proprio nel dettaglio sul mio dato manager

2:46: sulla sinistra della piattaforma ho la lista di quelli che sono i miei system.

2:52: Ciascun system è poi suddiviso in Environment, ciascun Environment mi mostra l’elenco delle mie tabelle.

3:02: Ciascuna tabella, ovviamente, è suddivisa in colonne, partendo dal customer ID, quindi è una colonna, ho una serie di proprietà che posso valorizzare, che mi descrivono al meglio il dato, quindi dal nome, dal tipo di dato, quanto è grande se c’è un data steward come ruolo o anche, per esempio una descrizione del dato stesso, la sensibilità eccetera.

3:27: Salendo di un livello, quindi, al livello di tabella io vedo l’elenco delle colonne che fanno parte della tabella stessa

3:38: con tutti i vari campi che ho visto prima e che posso andare a valorizzare. Alla tabella posso ovviamente associargli delle proprietà specifiche da valorizzare che mi rendono più parlante e più descrittivo il dato che ho all’interno. Questa visione ovviamente doppia sia a livello di contenuto che a livello di proprietà ce l’ho per tutti i livelli, quindi a livello di Environment e a livello di system.

4:14: Vi voglio far notare che, in particolare gli Environment hanno la versione all’interno del nome stesso, perché io via via che faccio le modifiche, posso versionare salvare quindi versioni successive del mio dato.

4:29: Questi dati, posso ovviamente inserirli in maniera manuale, ma posso anche rendere il tutto automatico. Ci sono gli standard Connectors che permettono di collegarmi direttamente o al database o recuperare le informazioni attraverso un data source; quindi, per esempio posso recuperare informazioni dei miei dati attraverso un Excel, un CSV oppure collegarmi direttamente da database tipo Oracle sequel server, tera data eccetera.

5:04: Questo è il data catalog. In particolar modo, invece, se io voglio vedere le trasformazioni; quindi, come il mio dato si muove, vado sul mapping manager.

5:17: Anche qui ho una visibilità di tutto quello che ho in questo momento su erwin DI. Nello specifico il progetto Data Lake di esempio mi mostra alcune trasformazioni, partendo dalla visione tabellare delle stesse. Per esempio, prendiamo il la prima riga come esempio all’interno della quale ho definito una sorgente, quindi la colonna specifica o le colonne, in questo caso dove ottengo quindi la address like uno address light due della tabella personal address.: 5:52: Una caratterizzata ovviamente dal target; quindi, la colonna target, verso dove va la trasformazione e la business rule e la trasformazione stessa che è una concatenazione semplice dei due valori della sorgente. Questo posso ovviamente vederlo a livello grafico. Nello specifico ho i due valori, adesso l’hai uno, adesso l’hai due. La trasformazione e il valore c address che è dove è il target, dove vado.

6:25: Aprendo il menù a tendina, io vedo le stesse informazioni sulla sorgente, sul target, sulla trasformazione direttamente sul grafico, sul diagramma. Tutto questo quindi che posso sia valorizzare come tabella, nella visione prima, posso anche farlo direttamente dal grafico.

6:44: Infatti qui sulla destra in questo menù ho una ho l’elenco di tutti i miei sistemi suddivisi in Environment eccetera, dove con un semplice drill down mi posso portare le tabelle in questa visione e aggiungere le trasformazioni o semplicemente il passaggio dei dati direttamente al livello grafico.

7:05: Anche qui tutto questo posso aggiungere a livello manuale, ma diciamo, il vantaggio è l’esecuzione degli smart connectors.

7:51: Tornando sulla parte del meta-data manager.

8:00: Scegliendo sempre un sistema, cliccando sul data lineage io vedo proprio come il mio dato si sposta, come viaggia attraverso i vari sistemi, quindi vedo che passa da un data Lake, possono arrivare ad un passaggio di stage per arrivare nel mio data warehouse. Stessa cosa però posso applicarla per esempio nel verso opposto, quindi vedere che compare su una dashboard di tipo tableau e da qui vedere poi nello specifico Environment per Environment fino a tabella singola colonna da dove sono arrivati e come si sono mossi i miei dati

8:39: Anche qui posso vedere delle trasformazioni, quindi recuperiamo la trasformazione che vi ho fatto vedere prima direttamente.

8:53: In questo data lineage, quindi vedo Address like uno e Address light due la trasformazione che la concatenazione verso il valore, quindi la colonna c address, quindi questo mi permette anche di vedere di recuperare le trasformazioni direttamente qui.

9:09: Tutta questa visione, ovviamente, è configurabile. Posso anche aggiungere aspetti tipo indicatori di sensibilità che sono dei lucchetti che mi indicano che sto trattando dei dati di tipo privato rispetto dei dati di tipo pubblico. Ho poi altri parametri, come per esempio il data quality.

9:35: Nel Data Lineage, c’è tutta la parte di impact Analysis, qui vedo nello specifico a livello di sistema da dove mi arriva il dato e verso dove questo dato si sposta e qui l’impatto analisi lo posso fare a livello di environment, di tabelle di colonna, quindi anche qui posso recuperare tutte le varie informazioni e vedere proprio che impatto ha una modifica sul dato in maniera rapida.

10:02: Quindi magari vedere anche il carico di lavoro successiva a una modifica stessa. Un’altra visione diagrammatica particolare è il mindmap, dove praticamente vedo il mio sistema di partenza. A cosa è collegato, sia a livello tecnico che a livello business.

10:51: Tutto questo, ovviamente, è raggiungibile attraverso l’home page di prima. Infatti noi eravamo partiti, dall’immagine in cui oltre a vedere tutto l’elenco numerico di quello che ho, io posso ricercare per esempio il valore Customer.

11:15: Mi compare poi praticamente tutto quello che contiene Customer anche fino allo specifico delle tabelle customer e attraverso questa vista posso recuperare direttamente il Lineage il Map. l’impact analysis. Quindi, partendo semplicemente da un termine, mi permette di avere una visione complessiva del mio dato, in modo rapido sia lato tecnico che business.