Vaak is het lastig om vooraf een kostenraming te maken en vooral m.b.t. Azure.
Maar gezien de architectuur ‘keeping it simple’ betreft, zijn de kosten te overzien en inzichtelijk:
Voordat we gaan inzoomen naar de kosten per specifiek onderdeel, eerst een korte toelichting/scope:
Berekeningen zijn gebaseerd op een maximaal 100GB aan CSV-bestanden (met een retentieperiode), 250GB per database (gecomprimeerd) met ca. 5GB te verwerken data per nacht. In de onderstaande berekening wordt tijdens het weekend niet afgeschaald naar Idle (S0), dit zou eventueel nog verder de kosten kunnen drukken.
We gaan uit van twee OTAP-omgevingen (Acceptatie en Productie), gezien we lokaal ontwikkelen en testen op laptops (Development/Test).
De architectuur maakt gebruik van een Staging om de structuur van de CSV-bestanden te valideren en data types te forceren. Om historie te bewaren kiezen we voor een HistoricalStaging (overigens kan een Data Vault ook), waarin we alle veranderingen opslaan m.b.v. Start- en Einddatums. Tevens weten we wat actueel is (in de bron) en welke records eventueel verwijderd zijn. Daarnaast richten we een DataMart in welke makkelijk te gebruiken is binnen Power BI.
Architectuur:
Beveiliging van data:
Alle data wordt m.b.v. Transparent Data Encryption veilig opgeslagen op disk en binnen backups. Binnen de databases kunnen we specifieke velden extra beveiligen met een tweede encryptie, dit eventueel i.c.m. met Dynamic Data Masking. Voor het registreren van alle activiteiten op de database, configureren we Database Auditing.
Onderhoud:
Door middel van Auto Tuning en i.c.m. met onze onderhouds scripts (voor indexen en statistieken), is het onderhoud van de databases teruggebracht naar slechts een paar uren per maand.
Tijd om naar de kosten te gaan.
SQL Databases:
Meer info: https://azure.microsoft.com/nl-nl/pricing/details/sql-database/single/
(tot 250GB inbegrepen)
Idle (S0) = € 12,65 per maand
Working Hours (S3) = € 126,49 per maand
Processing data (P2) = € 784,27 per maand
Uitgaande van 30 dagen per maand:
Idle (S0) = ca. € 0,0175 per uur
Working Hours (S3) = ca. € 0,1756 per uur
Processing data (P2) = ca. € 1,0892 per uur
Data Factory (SSIS-IR):
Meer info: https://azure.microsoft.com/nl-nl/pricing/details/data-factory/ssis/
E8 V3 8-cores Standard met 64GB geheugen (Standard_E8_v3) = € 1,997 per uur
File Storage (LRS):
Meer info: https://azure.microsoft.com/nl-nl/pricing/details/storage/files/
100GB x € 0,051 per GB = € 5,10 per 100GB per maand
€ 0,17 per dag
€ 0,0071 per uur
Database scaling:
Data verwerken ‘s nachts: 3 uren op P2 (waarvan 2 uren data verwerken en 1 uur voor op- en afschalen van de databases), overige 21 uren op S0 (STG en HSTG) of S3 (DM)
SSIS-IR voor het uitvoeren van ETL packages:
Data verwerken ‘s nachts: 4 uren (3 uren voor ETL en 1 uur dat SSIS-IR bezig is met starten en stoppen)
Kosten per dag:
– Staging en HistoricalStaging databases: 21 x ca. € 0,0175 (€ 0,3675) + 3 x ca. € 1,0892 (€ 3,2676) = ca. € 3,6351 per dag (x 2 databases)
– Data Mart database: 21 x ca. € 0,1756 (€ 3,6876) + 3 x ca. € 1,0892 (€ 3,2676) = ca. € 6,9552 per dag
– SSIS-IR: 4 x € 1,997 = ca. € 7,988 per dag
– File Storage: € 0,17 per dag
Totale kosten per dag: ca. € 22,38 per dag
Kosten per maand:
Uitgaande van opnieuw 30 dagen per maand:
Totale kosten per maand: 30 x ca. € 22,38 = € 671,40 per maand
Kosten per twee omgevingen (Acceptatie en Productie):
Totale kosten per maand: 2 x € 671,40 = € 1.342,80 totaal
Azure DWH kosten:
Uiteindelijk zijn er altijd kosten welke je écht niet vooraf kunt inschatten of berekenen, zoals bijvoorbeeld prijzen voor bewerkingen en gegevensoverdracht of prijsschommelingen. Laten we hier een ruime marge (+11,7%) voor reserveren, dan zou ik uitkomen op een totaal van ca. € 1.500,- per maand.
De maandelijkse kosten per Azure omgeving komt dan neer op ca. € 750,- per maand.
Dit zijn Azure run-time kosten, exclusief softwarelicenties.
Uit ervaringen bij klanten blijkt dat in de 1e maand de Azure kosten slechts € 400,- bedragen voor de Ontwikkel-omgeving, € 250,- voor Test/Acceptatie-omgevingen en € 400,- voor de Productie-omgeving (incl. DevOps kosten).
Azure DWH Framework inrichten:
Interessant? Wat dacht u van het volgende?
Binnen één maand zijn we in staat om een nieuw Azure Data Warehouse voor u in te richten. Dit dankzij ons Azure Data Framework with Automation, hiermee kunnen we snel een Azure architectuur inrichten en vullen met uw data-bronnen.
Neem dan contact met ons op voor een vrijblijvende demo bij u op locatie: clint.huijbers@monkeyconsultancy.nl
