Data Quality Service (DQS), Master Data Management (MDM) en Golden Records…doen we als volgt.
Een eerste stap is om van ruwe data te komen tot een schone dataset, waarbij DQS en MDM beide een rol spelen.
Lees er hier meer over.
Vervolgens benoemen we alle ‘logische’ business entiteiten (zoals personen, locaties, producten, diensten, etc.), hiervoor gaan we namelijk deze oplossing inrichten. In dit voorbeeld zoomen we in op ‘People‘. Onze oplossing genereert een aantal tabellen (zie hieronder), welke het voor ons nu mogelijk maken om a.d.h.v. ruwe bron data een match te kunnen vinden binnen de MDM dataset a.d.h.v. de ‘MappingTablePeople‘-tabel.
De ‘OutputPeople‘-tabel registreert het matchingspercentage en geeft aan op welke attributen de uiteindelijke match zich heeft plaatsgevonden. Deze tabel is puur ter controle en naslagwerk.
Het kan voorkomen dat een record in eerste instantie nog niet alle velden heeft. Het DQS/MDM proces controleert iedere keer of dat er lege velden in het MDM-record aanwezig zijn en of dat deze nu wel aanwezig zijn in de bron (‘InputPeople‘-tabel). Indien dit zo is, worden deze velden bijgewerkt in het MDM-record. Alle transacties worden gelogd in de onderstaande logging-tabel:
Iedere MDM-tabel (in dit geval ‘[mdm].[People]‘) komt met een ‘[mdm].[People_History]‘-tabel welke alle historische wijzigingen registreert binnen de MDM-dataset. Deze wijzigingen (insert, update en/of delete) bieden weer de basis voor een historische dimensie (SCD Type 3 of 6) binnen de Data Mart:
Een vervolgstap is om de bijbehorende dimensie(s) te vullen in de Data Mart en om hierop te rapporteren.
De complete oplossing ziet er dan als volgt uit:
Omgekeerd biedt deze oplossing ook de mogelijkheid om a.d.h.v. schone data in de Data Mart (of binnen MDM) een zoektocht te starten binnen het gehele (ruwe) datalandschap. Bij een ‘verzoek tot inzage persoonsgegevens‘ of ‘verzoek tot verwijderen‘ vanuit GDPR of AVG, kunnen we m.b.v. een paar queries achterhalen in welke bronnen deze persoon voorkomt en ook welke data er is opgeslagen rondom deze persoon:
Veel is mogelijk! Deze demo is op basis van klantgegevens en is gemakkelijk uit te breiden met bijvoorbeeld producten, diensten en/of bedrijven.
De oplossing draait ‘native’ binnen Azure en de run-time kosten zijn ca. € 2,- per entiteit per maand met 100.000 records.
Impact op de ETL? Nee hoor, in een handvol minuten is het gehele proces klaar en kunt u de Data Mart vullen.
Interesse in een live demo bij u op locatie? Neem dan contact met ons op: clint.huijbers@monkeyconsultancy.nl
