Geautomatiseerde klantenrapportering via Snowflake – E&C Consultants

E&C is een adviesbureau dat haar klanten bijstaat in energiecontracten, energierisicobeheer, energiecontrole, energiegegevensbeheer en decarbonisatie-energiebeheer.

Steeds meer bedrijven stellen decarbonisatiedoelen vanwege de opkomende energietransitie. E&C helpt haar klanten een betere energietransitie te maken door slimme energie-inkooppraktijken toe te passen en het risico van veranderende energieprijzen te verminderen.

De briefing

E&C heeft geavanceerde berekeningen ontwikkeld waarin gegevens van markten, energieverbruik, contracten en andere bronnen worden gecombineerd om haar klanten te adviseren.

Gezien de complexiteit van energiecontracten was er veel maatwerk nodig om alle mogelijke variaties te ondersteunen. Deze complexe berekeningen werden uitgevoerd in Excel via VBA-scripts. Alle gegevens werden on-premise opgeslagen in een SQL Server-database en SharePoint werd gebruikt als documentbibliotheek en presentatielaag in combinatie met Power BI.

Gezien de snelle groei van E&C als bedrijf en de steeds groeiende hoeveelheid gegevens, legde de on-premise architectuur beperkingen op voor de toekomst. Om haar klanten in de toekomst dezelfde flexibiliteit te kunnen bieden, had E&C een geoptimaliseerde en schaalbare data-architectuur nodig.

De belangrijkste doelstellingen voor het bouwen van een schaalbare data-architectuur zijn:

• Efficiënt verzamelen en integreren van gegevens uit verschillende bronnen
• Gemakkelijk toegang van gegevens voor klanten
• Snelle, geautomatiseerde rapportage

Onze oplossing

Op basis van een grondige gegevensbeoordeling en de behoeften van E&C voor de toekomst stelden we een gedetailleerd stappenplan op voor de overgang naar een Modern Data Platform.

• We zetten een vierlaagse gegevensarchitectuur op in Snowflake bestaande uit een ‘staginglaag’, een ‘ruwe laag’, een ‘enterprise data warehouse-laag’ en een ‘data mart-laag’.
• De staging-laag wordt gebruikt om de gegevens van de gegevensbronnen over te brengen naar Snowflake.
• De ruwe laag fungeert als een ‘data lake’ in Snowflake, waarin gegevens in hun oorspronkelijke formaat worden opgeslagen.
• De enterprise data warehouse-laag bevat het datamodel op basis van Data Vault 2.0.
• De data mart-laag bevat weergaven van gegevens die Power BI zal gebruiken.
• De integratie van ‘Change Data Capture‘ biedt de flexibiliteit om alleen de gewijzigde of toegevoegde gegevens in te voegen in plaats van steeds opnieuw alle gegevens te laden.
• Alteryx werd ingezet als een Data Integration Service om gegevens in Snowflake te laden en tussen de verschillende lagen van het datawarehouse te bewegen. Alteryx biedt een dynamische manier om de invoegingsscripts te bouwen om gegevens in de Data Vault te laden.
• We gebruikten Power BI om geautomatiseerde rapporten te maken. Er werd een dimensionaal gegevensmodel gemaakt op basis van de views in de data mart-laag in Snowflake en gebruikt voor het voeden van gegevens in Power BI.

Het resultaat

De integratie van een cloud-based data warehouse in Snowflake, dynamische dataflows in Alteryx en geautomatiseerde rapportage in Power BI biedt E&C een Modern Data Platform dat schaalbaar en toekomstbestendig is.

Cloubis leverde E&C een Modern Data Platform. Dit platform is schaalbaar op basis van hun groei en zal E&C ondersteunen bij het bereiken van hun doelstellingen om flexibeler te zijn, hun klanten sneller te bedienen en al hun data op één plek te hebben.