Eind vorig jaar is het MonkeyDWH™ framework (meta-data model samen met T-SQL scripts) volledig opnieuw ontwikkeld, dit op basis van een voorafgaand Biml framework (met SQL Server Integration Services).
Het doel? Volledig afscheid kunnen nemen van SSIS, Biml en BimlExpress. Geen zware SSIS-IR meer dat gehost moest worden binnen een dure en soms instabiele ADF Integration Runtime (VM) op Azure.
Hoe dan wel? Azure Data Factory is de afgelopen jaren volwassen geworden en biedt o.a. CopyData-activiteiten, Mapping- en Wrangling- Data Flows. Met de focus op de kosten van dit alles, viel de keuze al snel op de wat eenvoudige CopyData-activiteit. Kortom, laat de database het zware werk maar verzetten, dit scheelt enorm in de kosten.
Afgelopen weken waren erg spannend, samen met mijn (geweldige) klant mocht ik MonkeyDWH™ implementeren naast het huidige data landschap. Dit kwam neer op het migreren van alle meta-data, overzetten van de historische data en ook het compleet opnieuw inrichten van Azure én Azure DevOps.
En toen begon het avontuur…hoe snel zijn de pipelines? Is het ‘normaal’ dat deze pipeline zo lang duurt? Waar zit de bottleneck? Heb ik de database te laag ingeschaald? Of ligt het aan de bron? Kloppen de aantallen en totalen nog? Hoe staat de cube erbij? Krijg ik netjes een e-mail indien er iets fout gaat?
Na veel finetunen heb ik het gewenste resultaat behaald:
De maandelijkse Azure kosten voor MonkeyDWH™ komen neer op ongeveer € 1.200,- per maand voor twee omgevingen (DEV en PROD). In het bovenstaande plaatje zitten tevens ook de kosten (ca. € 300,- per maand) voor het ophalen van on-premise data via een VM met VNET, ook wel Infra-kosten.
Het beperken van de maandelijkse Azure kosten is bijna een sport voor me geworden, het is natuurlijk vele malen gemakkelijker om het tegenovergestelde te doen en meer uit te geven per maand door het balkje net iets meer naar rechts te schuiven 🙂
Naast deze mooie kostenbesparing, brengt MonkeyDWH™ ook andere voordelen mee, zoals o.a. een minder complex Azure landschap (met minder componenten) en veel minder overhead dan bij het gebruik van SSIS-packages. Ook is MonkeyDWH™ ‘future-proof‘, omdat het cloud-native is met 100+ ADF connectoren en zeer snel uit te breiden is met nieuwe functionaliteiten.
Daarnaast is het gemakkelijker geworden voor een Azure Data Engineer om te ontwikkelen, zo bevat de Visual Studio solution veel minder projecten dan voorheen:
Kortom, een winnaar!
Benieuwd naar de mogelijkheden en interesse in een demo?
Neem dan contact met me op: clint.huijbers@monkeyconsultancy.nl
