Augmented Data Management: Beyond the Hype

Omgaan met data management-taken die zich opstapelen

Data wordt steeds meer erkend als een belangrijk bedrijfsmiddel, en bedrijven omarmen ook het idee dat databeheer cruciaal is om de volledige waarde van die gegevens te ontsluiten. Investeren in een duidelijke datastrategie die is afgestemd op fundamentele datacapaciteiten zoals data governance, datakwaliteit en metadatabeheer heeft geleid tot een toename van datagebruik voor veel bedrijven.

Tegelijkertijd zorgt de aanzienlijke toename van het datavolume, de variëteit en de snelheid in combinatie met de – vaak buitensporige – drang om zoveel mogelijk data te verzamelen, er nu toe dat het databeheer ingewikkelder en tijdrovender wordt. Het kan een worsteling zijn om de controle over uw data te behouden terwijl u uw inspanningen op het gebied van databeheer opschaalt. Hierdoor kun je achterlopen met het inzichtelijk maken van de data waarover je beschikt, niet voldoende toegang kunnen bieden aan gebruikers en moeite hebben met het borgen van de datakwaliteit.

Hierdoor nemen gebruikers van data vaak het heft in eigen handen als het gaat om datamanagement. Een voorbeeld zijn de vele klachten die we horen van data scientists die gedwongen zijn een aanzienlijk deel van hun tijd te besteden aan taken met een lage toegevoegde waarde, zoals het opschonen en verwerken van data. Dit is niet alleen een verspilling van schaarse en goedbetaalde hulpmiddelen, het kan ook leiden tot ontevreden en gefrustreerd personeel.

Het inhuren van meer data stewards of data engineers lijkt misschien het eenvoudige antwoord op het feit dat het data management-werk zich opstapelt. Gezien het feit dat veel bedrijven echter al worstelen met het aantrekken van voldoende en geschikt datatalent, zijn wij van mening dat een meer haalbare en kosteneffectieve oplossing moet worden gezocht in augmented data management. Werk slimmer, niet harder.

Wat is Augmented Data Management?

Augmented data management is de toepassing van AI om datamanagementwerk te verbeteren of te automatiseren. Het heeft de mogelijkheid om datatalent, zoals de bovengenoemde data scientists, te ondersteunen bij tijdrovende en data-intensieve taken die normaal gesproken handmatig worden gedaan. Voorbeelden zijn het opsporen van afwijkingen in grote datasets, het oplossen van problemen met datakwaliteit en het herleiden van specifieke data van een rapport tot aan de oorsprong. AI-modellen zijn geavanceerder en specifieker ontworpen voor het uitvoeren van dit datamanagementwerk en nemen vaak minder tijd in beslag, maken minder fouten en kosten op de lange termijn minder. Dus waarom zou u het zware werk voor gegevensbeheer niet overlaten aan AI en uw datatalent laten focussen op het oplossen van zakelijke problemen met een grote impact?

Misschien kunt u zelf uw bestaande datamanagementplatforms en -tools gebruiken om te experimenteren met uitgebreid gegevensbeheer. Het potentieel ervan wordt erkend door toonaangevende leveranciers van datamanagementplatforms zoals Informatica en Collibra, die steeds meer verbeterde functionaliteiten uitbrengen en AI-ondersteunde besluitvorming mogelijk maken. We zien ook nieuwe spelers in de markt die zich specifiek richten op het automatiseren van datamanagementtaken, zoals Octopai.

Op basis van onze ervaring zien we het meeste potentieel in het toepassen van augmented data management om de volgende mogelijkheden en taken te ondersteunen en te versnellen:

• Datakwaliteit: Het identificeren en oplossen van problemen met datakwaliteit. Het voorstellen van regels voor datakwaliteit op basis van bestaande datasets en het uitvoeren ervan. Het automatiseren van doorlopende gegevenskwaliteitscontroles en geavanceerde profilering van gegevens. Herkennen van patronen en afwijkingen. Acties voorstellen voor het opschonen van gegevens, op basis van voorspelde waarden en handmatige gegevensopschoning.
• Metadata Management: Het labelen, classificeren en doorzoeken van gegevens. Het afleiden van het metadatamodel en de metadataregels uit datasets. Automatisch verzamelen, ordenen, catalogiseren en samenvoegen van technische en zakelijke metadata, zowel voor gestructureerde data als ongestructureerde data. Het genereren en analyseren van end-to-end data afstamming om afhankelijkheden, datastromen en anomalieën te identificeren.
• Master Data Management: Het identificeren en evalueren van potentiële masterdata. Het automatisch genereren van een masterdatamodel, het toewijzen van data-entiteiten en het configureren van een MDM-hub. Acties voorstellen voor matching en samenvoeging om één enkele bron van waarheid tot stand te brengen, op basis van gebruikspatronen, vertrouwensscores en input van data stewards.

Een belangrijke opmerking die we moeten maken, is dat AI nooit de noodzaak zal wegnemen om het beheer van data binnen uw bedrijf echt te organiseren. Ondanks de vele nuttige toepassingen van AI blijft databeheer een zaak van mensen en zullen de activiteiten daarbinnen een sterke focus nodig hebben op inspanningen op het gebied van verandermanagement, culturele uitdagingen en vaardigheden. Door een deel van het werk te 'augmenten', kan die reis gemakkelijker worden, maar je hebt nog steeds een toegewijd team nodig dat het voortouw neemt in de data journey.

Aan de slag met Augmented Data Management

Bedrijven bevinden zich allemaal in verschillende fasen van hun datamanagementtraject. Toch geloven we niet dat er een hoge mate van volwassenheid nodig is om de vruchten te plukken van augmented data management. Het augmenten van kleine taken en experimenteren met verschillende gebruiksscenario's is eigenlijk een geweldige manier om verder te verbeteren en te versnellen.

Ga vandaag nog aan de slag. Beschouw het als een technische vaardigheid die ontwikkeld moet worden. Het is beter om het idee dat het combineren van datamanagement en AI te moeilijk is los te laten en direct te beginnen. We kunnen u eenvoudig enkele handvatten geven op basis van onze ervaringen, use cases en in-house ontwikkeld maturity-modellen over augmented data management.

Een pilot met uitgebreid databeheer (+/- 8 weken) zou er als volgt uit kunnen zien:

1. Ga in gesprek met (senior) stakeholders en ontdek belangrijke pijnpunten en onderliggende data
2. Beoordeel snel de huidige (augmented) datamanagementmogelijkheden en tooling
3. Organiseer een workshop om de meest veelbelovende use case te selecteren
4. Bouw je eerste proof of concept: meestal met tooling die je al hebt
5. Breng uw nieuwe verbeterde datamanagement capaciteiten onder de aandacht om aandacht te creëren
6. Evalueer, verbeter en herhaal...

Neem contact met ons op als u uw data management dichter bij taak-augmentation wilt brengen, of als u AI wilt toepassen op uw data management.

1. Gartner Data and Analytics Trends: https://www.gartner.com/smarterwithgartner/gartner-top-10-trends-in-data-and-analytics-for-2020/
2. Deloitte Tech Trends: https://www2.deloitte.com/us/en/insights/focus/tech-trends/2021/mlops-industrialized-ai.html