Data Intelligence: la scelta della suite erwin come strumento abilitante

50:46: Condivide la conoscenza e il valore del dato in azienda.

50:54: Vediamo una traccia degli argomenti che verranno trattati: i motivi e ci spingono ad adottare uno strumento di data intelligence e, nel nostro caso specifico, quello di Erwin. Quindi l’Erwin data intelligence.

51:10: Che cos’è il data catalog e un’illustrazione dei suoi componenti più importanti e sono i metadata manager e il mapping manager.

51:19: L’utilizzo dei connettori per innescare un popolamento automatico e infine, come trarre valore da questo catalog attraverso strumenti di rappresentazione del repository visivo quali data lineage, Impact Analysis e il mindmap.: : 51:42: Partiamo da una serie di domande per condurci a un’analisi del nostro livello di consapevolezza sul patrimonio dati che abbiamo a disposizione. Spesso ci troviamo di fronte a domande che ci fanno capire il nostro livello di maturità in base a come riusciamo a rispondere. Se queste domande non ci creano particolari problemi, vuol dire che noi abbiamo già in caso uno strumento di data intelligence.

52:23: Se abbiamo bisogno di un po’ di sforzi, ma in qualche modo riusciamo a sopperire alla richiesta, vuol dire che non abbiamo uno strumento di dati intelligence, però abbiamo capito dell’importanza e magari abbiamo per il momento introdotto degli strumenti un pochino direi artigianali, dei fogli Excel di catalogazione, qualcosa cosa che in ogni caso ci permette di trovare una linea guida per dare delle risposte. Se invece, ogni volta che arrivano queste domande come chi è responsabile dei dati, come li conservo, non siamo in grado di rispondere vuol dire che sicuramente non siamo un’azienda che per il momento ha una cultura incentrata sul dato.

53:00: Ha bisogno ancora di fare un po’ di passi. E quali sono questi passi? Quindi abbiamo la necessità di fare una raccolta dei dati da vari silos presenti in azienda.

53:12: Abbiamo bisogno di comprendere come questi siano relazionati con i business e quali sono gli attributi che li caratterizzano.

53:22: Abbiamo bisogno di innescare delle politiche di governo per individuare standard e poi delle politiche di utilizzo. Infine dobbiamo estendere la condivisione con tutti gli stakeholder aziendali a seconda dei loro ruoli. Quindi abbiamo bisogno di fare questo percorso che ricollegandosi alla curva del valore è quello di cominciare a catalogare.

53:45: Di conseguenza, abbiamo bisogno di uno strumento e noi ci affidiamo a erwin Data Intelligence.

53:55: Illustriamo un po’ le sue caratteristiche, concentrandoci sul data catalog e l’automation.

54:12: Quindi che cos’è il data catalog? Il data catalog queste è un software di catalogazione che fornisce la visibilità sui dati aziendali per comprendere i dati disponibili, la loro posizione e il loro flusso nell’organizzazione, ma mi fermerei a questo; quindi, è quello che ci permette di raccogliere i dati da tutti i vari silos e metterli in un repository centrale che sia all’inizio di questo percorso di condivisione.

55:28: E quali sono i componenti di questo catalog? Abbiamo un resource manager che serve per la creazione della gestione degli utenti come classico di tutti gli strumenti, profilazione di ruoli e diritti di accesso. Poi abbiamo il metadata manager per la catalogazione, la contestualizzazione di questi metadati che ora vediamo che cosa vuol dire e infine il mapping manager per la costruzione di quella che è la mappatura tra dati di origine e di destinazione, con le eventuali trasformazioni applicate, un pochino il ciclo di vita del nostro dato.

56:22: Mi volevo concentrare sul concetto di metadato, allora metadato lo troviamo definito come data about data.

56:31: Quindi i metadati sono un insieme di dati che forniscono informazioni su altri dati e questa è la parte importante. I metadati sono una risorsa che consente di creare un quadro più olistico dei dati, comprendendoli pienamente nel loro completo. I metadati aiutano a mantenere dati organizzati e ne facilitano la comprensione.

57:10: Consideriamo un esempio, caratterizzare un dato con un altro dato vuol dire contestualizzarlo, vuol dire calarlo in una realtà, vuol dire fargli fare secondo me un’elevazione da un dato diventa un’informazione. Io per esempio pensavo a un dato di temperatura 26 °. Vabbè, è un dato, se cominci a dire 26 ° a Firenze, dici è normale.

57:37: 26 ° a Firenze alle 06:00 PM non ci trovo niente di strano. 26 ° a Firenze di pomeriggio di ottobre beh, qui c’è qualche cosa di strano. Quindi come vedete dei dati che io approfondisco piano piano, mi contestualizzano in una situazione e mi riescono a dare più un’informazione. Quindi, quali sono tutti questi dati che io posso arricchire. Sisuddividono in varie categorie che vengono in letteratura trovati come descrittivi, strutturali, tecnici, amministrativi. Quelli più importanti forse sono quelli amministrativi che ci aiutano a garantire una governance e delle responsabilità adeguate. Contengono informazioni relative agli aspetti amministrativi della gestione dei dati. Includono dettagli sulla proprietà dei dati, diritti di accesso, sicurezza, controllo delle versioni, provenienza e politiche di gestione dei dati. Quindi come vedete, questi mutualmente sono quelli più rilevanti da un punto di vista di utilizzo successivo. Però poi ci sono altri che possono declinare, tipo le descrizioni, le date di creazione, quante altre ve ne può venire in mente.

58:52

58:55: Chi è allora il metadata manager?

58:59: E’ l’amministratore di questi dati che caratterizzano gli altri dati, con particolare attenzione alle associazioni e al lineage. Il metadata manager è quello che raccoglie tutte queste informazioni dai vari silos, li memorizza e ci dà la possibilità di caratterizzarli con ulteriori dati e li tiene memorizzati qui all’interno di questo repository. Ora questa che vedete qui a fianco è un’immagine della dashboard riepilogativa del contenuto informativo presente all’interno del.

59:50: Poi abbiamo i mapping manager, che è quello in realtà che riesce a tenermi traccia dei dati in movimento. E’ lo strumento che riesce a recuperare informazioni da ITL, da store, procedure, da degli analytics. Quindi è quello che mi riesce in qualche modo a tenere traccia del passaggio da sorgente a destinazione, con eventuali trasformazioni che ci stanno nel mezzo. Quindi riesco a capire un pochino il ciclo di vita del mio dato.

1:00:28: E chiaramente non è un meccanismo rapido e semplice quello di fare questa catalogazione, quindi per una parte possiamo farla manualmente, ma fortunatamente ci vengono in aiuto i connettori che riescono a fare delle operazioni in automatico e questi connettori sono 2 tipi, si chiamano standard e smart connector. Che differenza hanno? Gli standard data connector servono per acquisire dati, si può dire statici, cioè sono quelli che riescono a connettersi con i vari database con le varie strutture dati e spesso e volentieri dai catalog che sono presenti in tutti i database, acquisiscono le informazioni e le memorizzano all’interno del meta data manager.

1:01:24: Gli smart connector, invece, sono quelli che ci danno la possibilità di automatizzare l’ingestion di tutti i movimenti che subiscono questi dati. Non sono compresi quindi, a seconda delle necessità, ci sono degli smart connector apposta che hanno il compito di analizzarne il contenuto e alimentare il mapping manager perché sono i movimenti che subiscono.

1:02:11: Quindi il metadato: standard connector statico, il mapping manager: movimento Smart connector. Quali sono gli ambiti di questi smart connector? Mentre per gli standard mi verrebbe di dire sono analoghi a quelli dell’erwin  DM, cioè tutte le strutture dati che abbiamo visto prima, mentre quelli degli smart connector possono essere di vario tipo, quindi possono essere degli analytics, Qlik, Power BI, Looker ecc…

1:03:23: Ma quale è il valore e che cosa riescono a fare questi smart data connector? Possono fare un’integrazione dei metadati di terze parti, quindi riescono a acquisire da Erp, CRM, possono fare una documentazione automatica del codice e quindi riesco a capire la logica che c’è dentro un ETL dentro uno store, procedure o dentro un analytics, possono riuscire a generare il codice, quindi da quello che ho acquisito possono riuscire a rigenerarlo o possono riuscire a fare migrazione da un codice di una piattaforma al codice di un’altra piattaforma.

1:03:57: Oltretutto questo l’abbiamo già accennato prima, ma vi volevo ricordare che c’è anche questa possibilità di integrazione tra erwin Data Modeler e Data Intelligence. Posso dare continuità al mio processo di modellazione, in un’ottica di progressiva crescita aziendale, senza perdere niente dei lavori che abbiamo già fatto. Noi possiamo, senza entrare in merito del dettaglio di questi step, passare quello che abbiamo dentro il Mart a livello di metadata manager con le tabelle e le colonne a livello di business glossary, per esempio con la naming standard che abbiamo definito o a livello di mapping manager con il manager.

1:04:42: Quindi, a questo punto vi ho fatto un bel percorso. Abbiamo a disposizione un repository che a questo punto è alimentato da un punto di vista di censimento dei nostri metadati e da un altro punto di vista è alimentato per i movimenti e subiscono questi metadati.

1:05:12: A questo punto noi possiamo creare del valore a diverse figure aziendali che hanno dei ruoli e dei compiti diversi in azienda. Ma che in genere hanno bisogno degli stessi dati sotto diversi punti di vista. Quindi noi abbiamo bisogno di strumenti che in qualche modo riescono a sintetizzare e presentare queste informazioni sotto una forma visiva ed interattiva. Ma quali sono questi strumenti? Il primo è data lineage che rappresenta il percorso dei dati all’interno della tua organizzazione, dalla sua creazione alla fonte attraverso i suoi spostamenti e trasformazione all’interno e all’esterno dell’azienda.

1:06:17: Quindi attraverso il lineage possiamo effettuare un’analisi dalla sorgente alla destinazione o viceversa: sul flusso dei dati e sulle trasformazioni applicate. E oltretutto questa cosa la possiamo navigare da sinistra a destra ovvero dalla sorgente alla destinazione e viceversa, dalla destinazione alla sorgente ma la possiamo vedere anche dall’alto al basso, cioè io la posso navigare con un approfondimento da sistema, ambiente, tabella, colonna. Posso puntualizzare oppure fare un’estrema sintesi solamente del sistema interessati.

1:07:04: Poi abbiamo l’impact Analysis che aiuta a comprendere le dipendenze a monte e a valle dell’asset su cui sono posizionato. Quindi in sintesi, ci viene aiuto per fare una valutazione di sforzo necessario alla gestione di una modifica che ho bisogno di applicare su quel determinato elemento. Quindi come impatta su quello che viene prima e su quello che sta dopo? Quanto è complicato?

1:07:37: Infine abbiamo il mindmap che la mappa mentale, che è una rappresentazione pittoria delle associazioni tra gli asset. E’ possibile visualizzare la riservatezza degli asset, il nome logico e fisico di tabelle e colonne e legami esistenti tra di essi. Questo è lo strumento che ci permette facilmente di mettere in relazione quello che abbiamo visto, i due filoni paralleli, quello del business, attraverso magari terms, rule, policy e quello è un pochino più tecnico: System, Environment, Table e Colum, quindi posso trovare degli elementi di contatto tra questi due mondi.