Bij Monkey Consultancy hebben we een eigen Azure Data Warehouse Automation framework ontwikkelt (hele mond vol), waarmee we de time-to-market enorm versnellen m.b.v. Biml. Zo kunnen we hiermee snel nieuwe bronnen ontsluiten en beschikbaar stellen binnen Azure.
Architectuur:
De architectuur maakt gebruik van een Staging om de structuur van de CSV-bestanden te valideren en data types te forceren. Om historie te bewaren kiezen we voor een HistoricalStaging (overigens kan een Data Vault ook), waarin we gebruikmaken van Start- en Einddatums. Tevens weten we wat actueel is (in de bron) en welke records eventueel verwijderd zijn. Daarnaast richten we een DataMart in, welke makkelijk te gebruiken is i.c.m. Power BI.
Overigens kunnen we vele combinaties configureren, tevens ook met een Raw Data Vault en Business Data Vault.
Features:
Importeren van data uit verschillende bronnen:
– SQL Server Databases
– OData-feeds
– CSV-bestanden
Exporten van data naar:
– SQL Server Databases
– CSV-bestanden (o.a. File Shares, ADLS of Polybase)
Behoud van historie:
– Historical Staging (StartDate, EndDate en IsCurrent)
– Raw Data Vault (2.0) m.b.v. hashing
Dit m.b.v. Point in Time Analysis (PIT)
Beveiliging van data:
Alle data wordt m.b.v. Transparent Data Encryption veilig opgeslagen op disk en binnen backups. Binnen de databases kunnen we specifieke velden extra beveiligen met een tweede encryptie, dit eventueel i.c.m. met Dynamic Data Masking. Voor het registeren van alle acitiviteiten op de database, configureren we Database Auditing.
Onderhoud:
Door middel van Auto Tuning en i.c.m. met onze onderhouds scripts (voor indexen en statistieken), is het onderhoud van de databases teruggebracht naar slechts een paar uren per maand.
Tooling:
Binnen het Azure DWH Framework maken we gebruik van de volgende tools:
Azure Data Warehouse run-time kosten:
We hebben een berekening gemaakt wat nu de run-time kosten zijn van ons Azure Data Warehouse (DWH).
De maandelijkse kosten per Azure omgeving komt dan neer op ca. € 750,- per maand per OTAP-omgeving, klik hier voor meer informatie.
Dit zijn Azure run-time kosten, excl. softwarelicenties voor ontwikkelaars en excl. de licentie voor het Azure DWH Framework.
Azure DWH Automation framework inrichten:
Interessant? Wat dacht u van het volgende? Binnen één maand zijn we in staat om een nieuw Azure Data Warehouse voor u in te richten.
Neem dan contact met ons op voor een vrijblijvende demo bij u op locatie: clint.huijbers@monkeyconsultancy.nl
