Data lineage: de herkomst van gegevens en waar deze in de loop van de tijd naartoe beweegt

Het grote aantal systemen, datatransformaties en uitgebreide data- en systeemlegacy maken het voor financiële instellingen een uitdaging om toezichthouders de vereiste mate van transparantie te bieden over hun data-integratie- en aggregatieprocessen die worden gebruikt voor rapportage. Data Lineage geeft inzicht in welke bedrijfs- en technische transformatielogica is toegepast op uw data en door wie.

Wat is data lineage?

In ons vorige artikel gingen we dieper in op de definitie en het gebruik van metadata en het toenemende belang ervan in de snel veranderende regelgeving.

Over het algemeen is metadata de voorwaarde voor een goede data lineage, die door de International Association of Data Management Professionals (DAMA, 2017) wordt gedefinieerd als "het pad waarlangs gegevens zich verplaatsen van het punt van oorsprong naar het punt van gebruik".¹ Het beschrijft ook wat er gebeurt met gegevens terwijl deze door de organisatie stromen.

Figuur 1 toont een typische datagestuurde rapportageomgeving waarin brongegevens zo worden getransformeerd dat ze worden geaccepteerd door het datamodel, dat op zijn beurt wordt ingezet door de rapportagevereisten te vertalen naar een semantische laag. Bij het streven naar een datagestuurd rapportageproces worden drie soorten data lineage in overweging genomen:

1. Verticale afstamming toont de oorsprong van een datavereiste van regelgeving naar implementatie in een datamodel op metadataniveau.
2. Horizontale herkomst toont de toewijzing van brongegevens aan doeluitvoer op metagegevensniveau. Het toont de functionele transformatielogica van hoe brongegevens worden getransformeerd naar een doeleindtoestand.
3. Fysieke herkomst demonstreert de werkelijke gegevensstroom van het bronsysteem naar de rapportageoplossing en ondersteunt de metadata-architectuur van de gegevensgestuurde rapportageomgeving.
    

Waarom is data lineage belangrijk?

Data Lineage heeft veel toepassingen die belangrijk zijn om het volledige potentieel van datagedreven rapportageprocessen te benutten:

• Beter anticiperen op veranderende wettelijke (rapportage)vereisten (verticale afstamming)
  Het vaak veranderende rapportagekader waaraan financiële instellingen moeten voldoen, heeft invloed op de gegevensstromen die voor rapportage worden gebruikt. Ook het interne datalandschap van financiële instellingen evolueert. Data lineage geeft inzicht in de mogelijke impact van de veranderingen op uw dataprocessen. Dit zal uw organisatie helpen om te anticiperen voorafgaand aan veranderingen, wat zal leiden tot een vermindering van de kosten voor het oplossen van fouten en een verhoging van de efficiëntie.
• Het ontrafelen van de "black box" dataprocessen (horizontale afstamming)
  Nu rapportage steeds meer datagedreven wordt, wordt samenwerking tussen Finance-, Risk- en IT-afdelingen van uw organisatie nog crucialer. Visualisatie van de herkomst van gegevens kan de "black box" van gegevensstromen blootleggen en zo een grotere transparantie creëren voor alle zakelijke gebruikers.
• Inzicht in de gerapporteerde cijfers terug naar granulaire brondata (fysieke afstamming)
  In de rapportageomgeving vindt er een verschuiving plaats van het maken van rapporten met geaggregeerde gegevens naar rapporten met behulp van gedetailleerde (of gedetailleerde) brongegevens. Financiële instellingen staan voor uitdagingen om de definitieve rapportagecijfers te herleiden tot de oorspronkelijke bron van de gegevens en om de toegepaste transformatielogica gaandeweg te identificeren.

Transparantie en visualisatie van uw datastromen stellen rapportagespecialisten, bedrijfsanalisten en dataspecialisten in staat om samen te werken en elkaar te begrijpen. Het maakt een efficiënte "zoektocht naar gegevens" in uw organisatie mogelijk, wat resulteert in kostenbesparingen en een kortere doorlooptijd van het oplossen van fouten en wijzigingsverzoeken.

Wanneer data lineage correct wordt geïmplementeerd en gebruikt, kan het de controle over uw datatransformatie- en rapportageprocessen verbeteren. Dit zal op zijn beurt resulteren in een betere kwaliteit van uw gegevens en rapportages en de discussie met de toezichthoudende instanties vergemakkelijken.

Overwegingen bij de implementatie van data lineage met betrekking tot zakelijke voordelen

Een voorwaarde voor data lineage is een data governance framework dat een goed gedefinieerde metadatastrategie en eigenaarschap van metadata binnen uw organisatie omvat. Daarbij moet de focus liggen op het beschikbaar, accuraat en volledig zijn van metadata. Een volgende stap is het identificeren en verbinden van al uw data en de metadata ervan, van bron tot transformatielaag tot rapportageoplossing.

Metadata-identificatie- en beheerprocessen staan momenteel bekend als arbeidsintensief, inefficiënt en duur. Robotica en kunstmatige intelligentie (AI) kunnen een belangrijke rol spelen bij het taggen van metadata en het genereren van metadata. Terwijl handmatige metadata-tagging een duur proces kan zijn. Het kan (gemiddeld) € 2 - € 5 per metadata-item kosten.² Aan de andere kant kan AI deze hoeveelheid 10x verminderen en tegelijkertijd de algehele kwaliteit van uw metadata en dus de herkomst van uw gegevens verbeteren.

Daarom zal automatisering van real-time identificatie en verbinding van metadata, evenals de visualisatie van de herkomst van gegevens, veel data-intensieve rapportageprocessen in uw organisatie verbeteren, terwijl ook de kosten die ermee gepaard gaan aanzienlijk worden verlaagd.

Dit zal op zijn beurt de hoeksteen leggen voor uw organisatie om uiteindelijk toekomstbestendig en een echt datagedreven organisatie te worden. In ons volgende artikel gaan we dieper in op de toepassing van deze automatiseringstechnieken in de wereld van metadata management, data lineage en hoe dit jouw organisatie kan helpen bij het verbeteren van de rapportageprocessen.

1 DAMA International, Data Management Body Of Knowledge, page 28, 2nd edition, 2017
2 EDIA (2018), Why is automated metadata-tagging better than manual tagging?
 

Meer informatie

Wilt u meer weten over Metadata Management of Data Lineage? Neem dan contact op met Yuri Jolly via onderstaande gegevens.