De kracht van Data Vault Modeling: een flexibel datawarehouse mogelijk maken

Uitdagingen bij het bouwen van datawarehouses voor datamodellering

Relationele datamodellen bestaan al heel lang, vooral in operationele datasystemen. Relationele datamodellen zijn vaak de go-to-modellen voor databases, maar ze zijn verre van perfect voor elk doel. Het bouwen en onderhouden van een datawarehouse met een relationeel datamodel kan zelfs een uitdaging zijn. Gebruikers lopen vaak tegen een of meer van de volgende nadelen aan:

• Relationele datamodellen in datawarehouses kunnen vaak niet worden aangepast aan de hoeveelheid veranderingen in de bronsystemen.
  
• Relationele datamodellen in datawarehouses vereisen vaak centraal versiebeheer van het datamodel, waardoor ze ongeschikt zijn voor gedistribueerd data-eigendom.
  
• Relationele datamodellen zijn niet flexibel, waardoor het een uitdaging is om hetzelfde datamodel in meerdere domeinen (bijv. landen en afdelingen) te implementeren.
  
• De snelheid van het gegevensopnameproces in een datawarehouse met een relationeel datamodel wordt belemmerd door een groot aantal transformatievereisten en bedrijfsregels.
  

Gezien deze nadelen is een algemeen geprefereerd alternatief voor een relationeel model het gebruik van (meervoudige) dimensionale modellen met conforme afmetingen, of het kiezen voor een sneeuwvlokmodel. Op basis van onze ervaring is ensemblemodellering de meest effectieve aanpak voor uw datawarehouse, met Data Vault als het toonaangevende ensemblemodelleringspatroon.

Hoe Data Vault omgaat met de huidige nadelen

Data Vault is een transformatieve oplossing die aanzienlijke voordelen biedt voor bedrijven in verschillende sectoren. Hoewel relationele gegevensmodellen met 3rd Normal Form (3NF) beperkingen hebben als het gaat om het nauwkeurig weergeven van real-world bedrijfslogica en scenario's, biedt Data Vault een krachtige oplossing die deze problemen direct aanpakt. De bedrijfsgestuurde en bedrijfsgerichte aanpak zorgt ervoor dat gebruikers op alle niveaus van de organisatie het systeem gemakkelijk kunnen begrijpen en ermee kunnen omgaan, waardoor het een zeer toegankelijke en gebruiksvriendelijke optie is. Bovendien biedt het vermogen van Data Vault om zich naadloos aan te passen aan nieuwe bedrijfsbehoeften, in tegenstelling tot traditionele dimensionale modellering, die zich traag kunnen aanpassen aan veranderende bedrijfsbehoeften, gegevensbronnen en veranderende regels zonder dure re-engineering te vereisen. Een krachtige oplossing voor de uitdagingen die worden gesteld door een flexibele en snel veranderende bedrijfsomgeving. Het vermogen van Data Vault om flexibel te zijn, komt voort uit het ontlede concept en het ensemble, zoals geïllustreerd in figuren 1 en 2. Daarom werkt de 3NF het beste voor operationele systemen, dimensionale modellering is ideaal voor datamarts en ensemblemodellering, met Data Vault als het leidende modelleringspatroon, heerst op het gebied van datawarehousing, zoals geïllustreerd in afbeelding 1.

Voorop blijven lopen met Data Vault

Of u nu te maken heeft met een groot aantal wijzigingen in bronsystemen of aanzienlijke afwijkingen van de oorspronkelijke ontwerpprincipes, Data Vault biedt een flexibele en wendbare aanpak die bedrijven kan helpen om voorop te blijven lopen en te slagen in een snel evoluerende markt. De unieke mogelijkheden stellen bedrijven ook in staat om uitgebreide traceerbaarheid van gegevens te bereiken, wat resulteert in een volledig controleerbaar systeem. Als het gaat om projectbeheer, maakt het gebruik van Data Vault de toepassing van agile ontwikkelingstechnieken mogelijk, waardoor het projectrisico wordt verminderd en er regelmatig updates worden geleverd. Bovendien maakt de incrementele bouwaanpak de constructie van een schaalbare architectuur mogelijk zonder de kerncomponenten op te offeren. De incrementele build-aanpak wordt ook mogelijk gemaakt omdat Data Vault concepten heeft ontleed, zoals geïllustreerd in afbeelding 2. Vanuit een architectonisch perspectief vergemakkelijkt de parallelle laadmogelijkheid van Data Vault de accommodatie voor toekomstige uitbreiding en groei.

Beperkingen en tijdelijke oplossingen voor Vault-modellering

Hoewel Data Vault een effectieve oplossing is gebleken voor het aanpakken van de huidige uitdagingen, is het belangrijk om de mogelijke beperkingen te erkennen en te begrijpen. Ondanks de vele voordelen, zijn er nog steeds enkele nadelen waarmee rekening moet worden gehouden om ervoor te zorgen dat Data Vault geschikt is voor uw zakelijke behoeften. Ten eerste, de toename van de semantische complexiteit van de onderliggende database-architectuur die nodig is om Data Vault te ondersteunen, aangezien de technische implementatie van Data Vault idealiter één op één is met concepten. Daarom moet men in staat zijn om bedrijfsterminologie te herkennen in de onderliggende database. Ten tweede is Data Vault weliswaar geoptimaliseerd voor schrijfprestaties, maar is het niet specifiek ontworpen met het oog op leesprestaties, wat van invloed kan zijn op de gebruikerservaring. Ten derde kan de overgang van de 3NF (of dimensionale) naar een Data Vault uitdagingen met zich meebrengen die een aanzienlijke vaardigheid in de Data Vault-methodologie binnen de organisatie vereisen. Kortom, we stappen af van Data Vault als modelleringskeuze voor onze presentatielaag naar een modelleringsbenadering die meer geschikt is voor consumptie, in dit geval dimensionaal. Dit kan echter bovenop de Data Vault worden gevirtualiseerd, in plaats van een fysieke implementatie.

Maximaliseren van voordelen en minimaliseren van beperkingen voor uw datastrategie

Om de mogelijke nadelen van Data Vault te beperken, is een veelgebruikte aanpak de implementatie van een vraaggebaseerde harmonisatielaag bovenop de bestaande architectuur. Dit kan helpen om de integratie en harmonisatie van gegevens tussen verschillende entiteiten en bronnen te stroomlijnen. Door gebruik te maken van deze aanpak kunnen bedrijven ervoor zorgen dat harmonisatie alleen wordt uitgevoerd wanneer dat nodig is, waardoor onnodige overhead tot een minimum wordt beperkt en de algehele efficiëntie wordt verbeterd. Bovendien wordt deze aanpak doorgaans per track geïmplementeerd, wat zorgt voor gedetailleerde controle en flexibiliteit in gegevensbeheer. Belangrijk is dat de harmonisatielaag is ontworpen om een logische in plaats van een fysieke laag te zijn, waardoor de complexiteit wordt verminderd en de algehele wendbaarheid wordt verbeterd. Deze harmonisatielaag kan ook helpen om de leesprestaties te verbeteren en tegelijkertijd de semantische complexiteit voor zakelijke gebruikers te verminderen, wat resulteert in een meer gestroomlijnd en gebruiksvriendelijk systeem. Bovendien kan het opnemen van unieke ID's in de harmonisatielaag helpen om kardinaliteitsbeperkingen effectiever af te dwingen, de integriteit van de gegevens te waarborgen en het risico op fouten of inconsistenties te verminderen. Door gebruik te maken van deze strategieën kunnen bedrijven de voordelen van Data Vault maximaliseren en tegelijkertijd de mogelijke beperkingen minimaliseren.

Als u overweegt een datawarehouse te implementeren met behulp van de Data Vault-modelleringsaanpak als kerngegevensmodel, raden we u aan door te gaan. Zoals aangetoond, zijn er tal van voordelen verbonden aan deze aanpak, zoals historische reproduceerbaarheid, data-herkomst en controleerbaarheid, het omgaan met veranderingen in de loop van de tijd en modelintegriteit. Bovendien heeft u nu inzicht in de beperkingen, die als een onschatbare referentie zullen dienen bij het beslissen over de beste manier om Data Vault aan te passen aan de specifieke vereisten van uw organisatie.

In ons komende artikel gaan we dieper in op de Finance and Risk datawarehouse-architectuur en belichten we best practices van een van de toonaangevende banken in Nederland die Data Vault heeft geïmplementeerd voor hun datawarehouse. In dit artikel wordt ook ingegaan op de reis om de meest geschikte aanpak te identificeren voor het implementeren van Data Vault binnen hun organisatie.

Contact

Wilt u meer weten over de Data & Analytics-diensten van Deloitte binnen de financiële dienstverlening? Neem dan contact op met Yuri Jolly - Director - Risk Advisory , Ali Khalili - Senior Manager - Risk Advisory, Marit Beerepoot - Junior Manager - Risk Advisory of Audia Ariantari - Senior Consultant - Risk Advisory.