Geautomatiseerde antwoorden voor business gebruikers via dbt – VRT

We hielpen met

AWS
Business Intelligence
Datalake
dbt
Metabase

De VRT is de Vlaamse openbare radio- en televisieomroep. De VRT wil de Vlaamse samenleving versterken door te informeren, te inspireren en te verbinden. Als radio- en televisieomroep richten ze zich op informatieve en culturele programma’s, maar ook op sport, drama en entertainment.

Enkele bekende merken van de VRT zijn:

  • VRT MAX, het video- en audioaanbod op aanvraag
  • VRT NWS, de plaats waar consumenten het laatste nieuws kunnen volgen
  • Sporza voor het laatste sportnieuws
  • Radiozenders MNM, Studio Brussel, enz.

De briefing

De VRT vroeg ondersteuning bij de ontwikkeling van een data warehouse-oplossing om analytics meer performant, transparant, actief en gebruiksvriendelijk te maken.

VRT had al geëxperimenteerd met dbt, een transformatiekader dat analisten en ingenieurs in staat stelt samen te werken met hun gedeelde SQL-kennis om analytische code te implementeren. Ze waren op zoek naar Business Intelligence-experts om het Data & Intelligence-team van de VRT te versterken. Hun focus was het opzetten van een datawarehouse-oplossing met dbt en het ontwikkelen van dashboards in Metabase om data te vertalen naar inzichten.

Belangrijkste doelen van Business Intelligence experts:

  • De ontwikkeling van een Data Warehouse (dbt)
  • De ontwikkeling van een analytische omgeving (data-layer)
  • Het creëren van self-service dashboards in Metabase met executive summaries
  • Strategische ondersteuning op basis van inzichten uit dashboards, om acties aan te sturen

Onze oplossing

Onze BI-experts creëerden datatransformatie pipelines om gegevens die in data lakes waren opgeslagen toegankelijker te maken voor analytische doelen. Daarnaast werden, als onderdeel van VRT’s datagedreven team, inzichten uit deze gegevens gehaald en gecommuniceerd naar relevante stakeholders.

Om de oplossing te implementeren, volgden onze BI-experts best practices zoals aanbevolen door het dbt Labs-team. Deze best practices werden aangepast aan de context, het gegevenslandschap en de vereisten van de VRT, wat resulteerde in de volgende vierlaagse architectuur:

  • De staging-laag die wordt gebruikt om eenvoudige transformaties uit te voeren om verschillende naamgevingsconventies aan te passen en geldige gegevenstypes te garanderen.
  • Een datavoorbereidingslaag waarin transformaties en bedrijfslogica worden ontwikkeld en toegepast als tussenstappen naar gecureerde tabellen.
  • Een conforme laag waar feiten en dimensies (in overeenstemming met de Kimball-modelleringsstrategie) worden gecreëerd die kunnen worden blootgesteld aan eventuele gegevensconsumenten zoals Metabase.
  • Een martslaag met verschillende weergaven van gegevens en verschillende aggregaties voor specifieke gebruikssituaties.

Dankzij de data lineage mogelijkheden van dbt worden alle datatransformaties en datastromen inzichtelijk gemaakt. De resulterende datastructuur maakt een eenvoudiger en robuuster dashboardontwerp in Metabase mogelijk.

Zie hieronder voor een voorbeeld van data lineage

Er worden verschillende technologieën gebruikt om deze data-analyseoplossing succesvol te leveren: dbt voor datatransformaties, Bitbucket voor versiebeheer, Airflow voor data-orkestratie, Cloudwatch voor het monitoren van de datatransformatiestroom, AWS Athena als onderliggende query serverless service, en Metabase voor dashboarding.

Al deze tools en technologieën vereisten verdere ontwikkeling van het team van Cloubis om bruikbare inzichten uit data te kunnen bieden.

Het resultaat

Cloubis kon de VRT een end-to-end gegevensoplossing bieden door dbt-modellen op te zetten in een gelaagde structuur die gemakkelijk kan worden geraadpleegd door front-end tools en andere datagebruikers. De VRT kan nu vertrouwen op een robuuste en performante datawarehouse-oplossing, alsook op gedocumenteerde best practices, templates en richtlijnen.

Deze oplossing resulteert in lagere kosten en betere prestaties door dataverdeling en datamodellering zo op elkaar af te stemmen dat de gegevens worden opgevraagd voor business use cases.

Door verschillende dashboards in Metabase op te zetten, is VRT bovendien in staat om geautomatiseerde antwoorden te leveren voor veelvoorkomende use cases. Bovendien werden meerdere inzichten ook actief verspreid doorheen de organisatie, wat een actiegerichte datagedreven mindset stimuleert.

Heeft jouw project onze expertise nodig?