Om nieuwe energiebeleidsmaatregelen te kunnen aanpassen en creëren, heeft het Vlaams Energie- en Klimaatagentschap (VEKA) data nodig om weloverwogen beslissingen te nemen. Hiervoor heeft VEKA complete en hoogwaardige data nodig, die voornamelijk bestaat uit gegevens over groene energieproductie en de energieprestaties van Vlaamse gebouwen. Naast het maken van beleid moet VEKA deze data ook rapporteren aan haar medewerkers, andere overheidsorganisaties, de energiesector en de inwoners van Vlaanderen. De belangrijkste doelen van het bouwen van een nieuw dataplatform waren:
Het stroomlijnen van interne en externe databronnen.
Het bevorderen van een hogere datakwaliteit.
Het zorgen voor nauwkeurige en consistente rapportages.
Het creëren van een uniform datamodel.
Het automatiseren van dataverwerking om efficiënter te worden.
Het implementeren van beveiligingsmaatregelen met betrekking tot data toegang, met een focus op GDPR.
Oplossing
Een Azure Synapse Analytics dataplatform met ELT-flows werd ontworpen volgens de medallion-architectuur (gebaseerd op de kernprincipes van ons eigen dataframework). Verfijning van data door middel van de Bronze, Silver, en Gold lagen om uitgebreide schaalbaarheid mogelijk te maken. Daarnaast werd parallel notebook-verwerking met notebook-afhankelijkheden geconfigureerd.
Een gouden dataset die kan worden gebruikt in alle dashboards en rapporten (Power BI), waardoor alle visualisaties zijn gebaseerd op gevalideerde en getransformeerde data voor optimale prestaties en inzichten.
In analogie met best practices in software-engineering, is CI/CD opgezet met behulp van GitHub.
Herbruikbare componenten en uitgebreide documentatie voor toekomstige ontwikkelaars om snel de werkwijze over te nemen.
Resutaat
Het hoofddoel was om een platform te creëren waar alle data op één plek wordt gestroomlijnd en op dezelfde manier wordt verwerkt. Deze uniformiteit zorgt ervoor dat iedereen binnen en buiten VEKA, afhankelijk van hun toegang, dezelfde data op dezelfde manier te zien krijgt. Hierdoor is er weinig ruimte voor misverstanden of andere interpretaties.
Methodologieën
De bij VEKA gebruikte methodologieën, zoals beschreven in de referentiecase, omvatten:
Medallion-architectuur: Een data-architectuurbenadering die de verwerking en opslag van data organiseert in lagen, meestal inclusief ruwe data, verfijnde data, en geaggregeerde data-lagen.
Data stroomlijning: Integratie van interne en externe databronnen om een naadloze informatiestroom te bevorderen.
Kwaliteitsborging: Het implementeren van processen om een hoge datakwaliteit te waarborgen voor nauwkeurig beleid en rapportage.
Rapportage en visualisatie: Gebruik van Power BI om consistente en nauwkeurige rapporten en visualisaties te creëren.
Datamodellering: Het opzetten van een uniform datamodel om data-opslag en -verwerking te standaardiseren.
Automatisering: Automatisering van dataverwerking om de efficiëntie te verbeteren en handmatige interventie te verminderen.
Beveiligingsmaatregelen: Visualisatie van gevoelige data en handhaving van toegangscontrole en nalevingsregels om gevoelige informatie te beschermen.
Data framework-principes: De opzet van alle componenten volgde de principes van het eigen data framework van Cloubis.
Infrastructure-as-code: ondersteuning geboden bij de implementatie van IaC-templates.
Deze methodologieën waren cruciaal om VEKA’s doelen van efficiëntie, uniformiteit en data-gedreven besluitvorming te bereiken.
Gebruikte technologieën
De volgende technologieën werden gebruikt:
Microsoft Azure: gebruikt als cloudplatform voor het hosten van het dataplatform.
Azure Synapse Analytics: Een cloudgebaseerde analytics-service die big data en datawarehouse-technologieën combineert voor uitgebreide analytics-mogelijkheden.
CI/CD met GitHub Actions.
Power BI (Embedded): Gebruikt voor het creëren van geautomatiseerde rapporten en visualisaties.
Easymorph: Ingezet voor het extraheren, transformeren en laden van data om hoge kwaliteit en uniformiteit te waarborgen.
GitHub: gebruikt voor versiebeheer en geautomatiseerde implementaties.
Cloud Experience: Gebruikt voor de flexibiliteit, veiligheid en kostenefficiëntie van datamanagement.
Data Portaal: Vergemakkelijkte de uitwisseling van bestanden tussen VEKA en haar leveranciers.
Business Intelligence: Geïmplementeerd door middel van data-analyse en rapportage.
Artificial Intelligence: Onderzocht voor het verkrijgen van diepere inzichten uit de data.
Deze technologieën droegen gezamenlijk bij aan het creëren van een robuust en efficiënt datamanagementsysteem voor VEKA.
