Iedereen toegang tot de juiste data via een Azure Data Platform – Enabel

Enabel is het Belgisch ontwikkelingsagentschap van de Belgische federale regering. Zij voeren de gouvernementele samenwerking van de Belgische regering uit in haar 14 partnerlanden.

Verder draagt Enabel bij aan de duurzame ontwikkeling in de minst ontwikkelde landen, voornamelijk Afrika. Enkele voorbeelden zijn klimaatverandering & milieu, mobiliteit, vrede & veiligheid, sociale & economische ongelijkheid.

Afhankelijk van het project is Enabel actief in verschillende sectoren. Projecten kunnen zich focussen op digitalisering, energie, gender, gezondheid, landbouw, onderwijs, etc.

De briefing

Enabel wil graag inzichten vergaren over data die in verschillende systemen zit. In de initiële oplossing waren er regelmatig problemen met:

• Dagelijkse refresh
• Vervuiling van het datamodel
• Voldoen aan de juiste rapporteringsvereisten

We merkten dat de limieten van de initiële set-up van de rapportering bereikt werden: structuur ontbrak, refresh was onbetrouwbaar, transformaties waren moeilijk te onderhouden en niet alle rapporteringsnoden konden voldaan worden.

Vanuit Cloubis hebben we een plan uitgewerkt en voorgesteld dat past binnen de data architectuur en noden van Enabel. Ons doel: het opzetten van een state-of-the-art data platform (incl. data model) waar eenvoudig & efficiënt op gerapporteerd kan worden vanuit verschillende invalshoeken van de organisatie.

Hieruit kwamen onze streefdoelen:

• Single version of the truth
• Self-service BI

Onze oplossing

Cloubis zorgde voor een efficiënt en schaalbaar data platform in de cloud (Azure native) waarbij we de data dagelijks extraheren uit de verschillende systemen, transformeren en aanbieden in een gepast datamodel (Kimball). Daarnaast hebben we Enabel geholpen om hun rapporteringsbehoeften op te zetten en governance te voorzien op vlak van rapportering.

Wekelijks bespreken we de status en bepalen we de prioriteiten samen met de klant. Deze volgen we op in Azure DevOps. In tandem (teams van 2) vertalen we de business noden in concrete acties en focust elke consultant op een ander gebied:

• Data engineer: focus op ETL en data warehousing
• BI consultant: voorzien structuur en opzetten juiste rapportering in samenspraak met de business zijde van Enabel.

Aangezien we nu zo veel mogelijk rechtstreeks connecteren op de databronnen, kunnen we data sneller en efficiënter binnenhalen. Daarnaast hebben we het datamodel zo opgebouwd dat we aan de huidige rapporteringsbehoeften kunnen voorzien en dat dit schaalbaar is naar de toekomst toe.

Tijdens het project gebruiken we volgende Microsoft technologieën:

• Azure Data Factory: dagelijkse load van data
• Azure Data Lake Storage: staging laag
• Azure SQL Database: data warehouse oplossing
• Azure DevOps: versionering en release management
• Power BI: rapportering & monitoring
• SharePoint: centraal portaal om alle rapporten beschikbaar te stellen

Het resultaat

Door bovenstaande architectuur op te stellen voor Enabel zijn we er in geslaagd om:

• De relevante business users zich te laten focussen op analyse met betere inzichten tot gevolg
• Een centraal SharePoint portaal op te zetten waarin business users gebruiksvriendelijk kunnen navigeren naar alle relevante rapporten die dagelijks worden geladen.

Cloubis is erin geslaagd om, door self-service BI te implementeren, Enabel meer data-driven te maken doordat meer end-users gebruik maken van het centrale data platform.

Bij de oplevering van het project kunnen we stellen dat er een impact is op vlak van:

• Schaalbaarheid: geen limieten op vlak van transformaties en toevoegingen van data.
• Organisatie: alle data is terug te vinden in een ideaal formaat in een centrale oplossing
• Centralisatie: centraal portaal waarnaar business users kunnen navigeren en de juiste data vinden en dynamisch filteren op de relevante parameters. Business users kunnen een request doen via het portaal wanneer bepaalde data niet aan hun noden voldoet of wanneer bepaalde data moet toegevoegd worden.