Gelaagde architectuur voor dataplatforms: de plek die data omzet in inzichten

In de vorige blogs over de Gelaagde Architectuur voor Data Platformen introduceerden we de gelaagde architectuur voor dataplatformen, doken we dieper in de databronnen en opnamelaag, bespraken we de verwerkingslaag, keken we naar de technologieën om data op te slaan en beschreven we hoe de data geanalyseerd kan worden. In deze blog kijken we naar de Visualisatie Laag, waar de data wordt gevisualiseerd in dashboards en rapportages.

Figuur 1 - Lagen van een dataplatform

Nadat de data is opgeslagen en/of geanalyseerd, kan het worden gevisualiseerd met behulp van dashboards en rapporten om de data om te zetten in de juiste informatie die kan helpen bij het verkrijgen van inzichten en het nemen van zakelijke beslissingen.
Als we het hebben over het visualiseren van data, maken we het onderscheid tussen de volgende vier soorten visualisatie:

• Dashboards
• Rapporten
• BI voor zelfbediening
• Ingesloten analyse

Dashboards

Een business intelligence-dashboard (BI) is een tool voor datavisualisatie die informatie weergeeft over belangrijke bedrijfsprestatie-indicatoren (KPI's) of andere statistieken. Dashboards geven de informatie meestal weer met behulp van grafieken, tabellen of KPI-kaarten; Het doel is om de informatie in één oogopslag te geven om snel een overzicht te geven van de prestaties van het bedrijf. Dashboards zijn vaak in hoge mate configureerbaar om te veranderen hoe de data worden gevisualiseerd of welke details worden weergegeven. Een zeer populaire functie van de meeste dashboards is de mogelijkheid om in te zoomen van een overzicht van de data naar een meer gedetailleerde en gedetailleerde weergave om een specifieker deel van de data te zien. Het visueel weergeven van informatie heeft veel voordelen.  

De flexibiliteit van het dashboard en de mogelijkheid om in te zoomen heeft echter enkele gevolgen voor de dataset. De dataset moet niet alleen de data bevatten die in het dashboard worden getoond, maar ook alle data die mogelijk in het dashboard getoond zouden kunnen worden op basis van alle selecties die de gebruiker kan maken. De mogelijkheid om in te zoomen betekent dat de dataset niet alleen de sterk geaggregeerde data moet bevatten, maar ook alle details erachter.

Aangezien databasequery's vaak te traag zijn om de vereiste responstijd te krijgen, hebben de meeste dashboardtools een in-memory engine die de volledige dataset bevat, zodat het wijzigen van selecties of inzoomen zeer snel gaat. In sommige gevallen is deze in-memory engine niet nodig. Bijvoorbeeld wanneer de database waarin de data wordt opgeslagen erg snel is (bijvoorbeeld wanneer het een in-memory database is) of wanneer er een OLAP-laag bovenop de database wordt gebruikt. (Zie de blog over de Analytics-laag voor meer informatie over de OLAP-laag.) Aangezien de hoeveelheid data exponentieel toeneemt, is het soms een uitdaging om alle benodigde data in het geheugen te bewaren, daarom moeten dashboards mogelijk worden opgedeeld in kleinere dashboards of moeten geavanceerde technieken worden toegepast om data tussen schijf en in-geheugen uit te wisselen.

Rapporten

Rapporten hebben meestal een of meer schermen of pagina's met grafieken of tabellen om de informatie weer te geven. De informatie is statisch, dus de persoon die het rapport bekijkt, kan niet wijzigen hoe de data worden weergegeven of inzoomen op de details zoals bij een dashboard. Het kan echter zijn dat voordat het rapport wordt geopend, bepaalde filtercriteria kunnen worden ingevoerd om te selecteren welke data in het rapport worden getoond.

Rapporten kunnen worden gemaakt met behulp van dezelfde tools als de dashboards, maar dan met minder flexibiliteit in wat de gebruiker ermee kan doen, of met speciale rapportagetools die specifiek worden gebruikt wanneer het rapport pixel-perfect moet zijn. Een pixel-perfect rapport betekent dat de ontwikkelaar van het rapport controle heeft over hoe elke afzonderlijke pixel in het rapport wordt geplaatst. Dit is vaak nodig wanneer het rapport gedrukt moet worden. Een andere reden om gebruik te maken van een speciale rapportagetool is de functionaliteit om de rapportages vanaf een centrale plek te beheren en te delen. Rapportagetools ondersteunen de verspreiding van rapporten op verschillende manieren, bijvoorbeeld door ze automatisch per post naar de gebruikers te sturen.

Rapporten hoeven niet dezelfde hoge prestatie-eisen voor de data te hebben als het geval is bij dashboards, omdat de data pas hoeven te worden opgehaald wanneer het rapport wordt gegenereerd. Vaak gebeurt het genereren van het rapport op een ander moment dan wanneer het rapport wordt bekeken. Zo is het bijvoorbeeld mogelijk om de rapportages 's avonds te genereren, zodat ze de volgende dag tijdens kantooruren direct beschikbaar zijn. De meeste rapportagetools halen de data pas op uit de database zodra het rapport is gegenereerd.

BI voor zelfbediening

Self-service BI betekent dat de eindgebruikers in staat zijn om grafieken, rapporten of dashboards te ontwikkelen op vooraf ontwikkelde datasets. Met self-service BI maken de gebruikers niet alleen gebruik van de bestaande rapporten of dashboards, maar maken ze deze zelf en kunnen ze hun ontwikkelde rapporten of dashboards ook delen met andere gebruikers.
Niet alle gebruikers hebben de mogelijkheid om self-service BI te gebruiken, omdat het uitgebreide kennis vereist over de data, processen en bedrijfscontext. De kleine groep gebruikers die wel over deze kennis en mogelijkheden beschikt, staan bekend als supergebruikers. De dataset(s) waar ze aan werken worden vaak ontwikkeld door de BI-ontwikkelaars, wat op de volgende manieren verschilt van de datasets die worden gebruikt voor rapporten en dashboards:

• De dataset voor een dashboard/rapport is specifiek en beperkt tot alleen wat nodig is voor het dashboard, terwijl de dataset voor self-service BI zo generiek mogelijk moet zijn, zodat deze kan worden gebruikt om veel verschillende soorten vragen te beantwoorden.
• De dataset voor self-service BI moet "fool" proof zijn. Het zou niet mogelijk moeten zijn om dingen te wijzigen die de server(s) doen crashen, prestatieproblemen voor andere gebruikers veroorzaken of informatie verstrekken die nergens op slaat.
• Binnen de dataset voor self-service BI moet het heel duidelijk zijn wat elk datapunt betekent en hoe het gebruikt moet worden.

Een goede gewoonte is om de dataset te beschrijven in een datacatalogus die de (zakelijke) betekenis bevat, waar de data vandaan komt en hoe deze kan worden gebruikt. Zie ook de volgende blog over Data Governance waarin de datacatalogus wordt beschreven.

Rapportages en dashboards die door self-service BI zijn gemaakt, kunnen door andere gebruikers worden gedeeld, maar bij die gebruikers moet bekend zijn dat dit geen rapport/dashboard is dat door de BI- of IT-afdeling is ontwikkeld en als zodanig van mindere kwaliteit kan zijn (dit betekent dat er geen garantie is dat de cijfers kloppen of dat het grondig is getest). Een goede manier om dit te doen is om het rapport/dashboards die door de BI / IT-afdeling zijn ontwikkeld als "Goedgekeurd" te markeren, zodat gebruikers gemakkelijk het verschil kunnen zien.

Gouden regels

Er zijn enkele gouden regels die u moet volgen bij het kiezen van de beste tool en het ontwerpen van datavisualisaties:

Wees relevant. Gebruik een gebruikersgerichte en niet een data- of technologiegepushte aanpak om relevant te zijn voor het bedrijfsprobleem. Gebruikersbetrokkenheid stimuleert adoptie!

Wees specifiek. Gebruik verschillende oplossingen voor verschillende gebruikers en gebruiksscenario's. Maak onderscheid tussen operationele, tactische en strategische bedrijfsbehoeften, wat resulteert in verschillende oplossingen met verschillende niveaus van aggregatie en cadansen voor het vernieuwen van data.

Wees een laag. Verwar de visualisatielaag niet met de andere lagen (zoals de verwerkings- en analyselagen). Zorg ervoor dat alles wat in de back-end of een andere laag kan worden gedaan, daar wordt gedaan, en niet in de visualisatielaag

Ingesloten analyses

Embedded analytics is wanneer de analysemogelijkheden worden geïntegreerd in de transactionele systemen (bijvoorbeeld in de ERP- of CRM-systemen) of wanneer het wordt geïntegreerd in een webportaal, zodat het wordt geïntegreerd in de dagelijkse bedrijfsvoering en bedrijfsprocessen.

Enkele voorbeelden van embedded analytics zijn:

• Datavisualisaties of grafieken die zijn geïntegreerd in een webportaal of applicatie
• Rapportages die worden uitgevoerd vanuit de ERP- of CRM-applicatie
• Benchmarking waarbij de huidige data wordt vergeleken met externe data binnen de applicatie
• Mobiele rapportage waarbij de datavisualisaties of grafieken worden weergegeven op het mobiele apparaat
• Visuele workflows die transactiedata wijzigen vanuit de analytische applicatie en vervolgens de wijzigingen terugschrijven naar het bronsysteem.

Terwijl dashboards een min of meer gecentraliseerd overzicht van de data bieden, is embedded analytics meer geïntegreerd met de operationele systemen en als zodanig meer taps toelopend naar een specifieke actie of beslissing die moet worden genomen. Embedded Analytics maakt gebruikers productiever omdat het is geïntegreerd in de applicaties die elke dag worden gebruikt om de gebruikerservaring en de beslissingen die worden genomen te verbeteren.

Trends

Zoals in het bovenstaande gedeelte is te lezen, is datavisualisatie onder te verdelen in vier soorten (dashboards, rapporten, self-service BI en embedded analytics). We zien enkele trends in datavisualisatie die de voorkeur geven aan bepaalde methoden en die van invloed zijn op de manier waarop de visualisatie wordt geconsumeerd. De trends in datavisualisatie die we zien, worden hieronder geschetst:

• Rapporten en dashboards worden vaker gebruikt met behulp van mobiele apparaten. Het is daarom belangrijk om er bij het ontwerpen en ontwikkelen van rapporten en dashboards rekening mee te houden dat het scherm kleiner is en dat de gebruikersinterface die goed werkt op een computer niet altijd ideaal zal zijn bij gebruik op een mobiel apparaat.
• Visualisatietools maken gebruik van geavanceerde analyses om voor te stellen welke data het beste kunnen worden gevisualiseerd of welk type grafiek het meest geschikt is voor de geselecteerde data. Visualisatietools bieden ook de mogelijkheid om vragen te stellen over de data. Denk hierbij aan vragen als "Toon producten gesorteerd op de fabrikant" of "Toon totaal aantal eenheden per fabrikant en categoriseer in een boomstructuur".
• Complexe grafieken op maat worden steeds vaker gebruikt om data te visualiseren. Wanneer je je eigen grafieken wilt gebruiken, zorg er dan voor dat je een dashboarding tool gebruikt die het gebruik van je eigen ontwikkelde grafieken ondersteunt. Vaak is er ook een bibliotheek met op maat ontwikkelde grafieken beschikbaar waaruit u kunt kiezen om de mogelijkheden van de standaard dashboarding tool uit te breiden. We merken dat er grote terughoudendheid is bij onze opdrachtgevers om te werken met custom grafieken van derden. Met gratis custom grafieken heb je vaak geen draagvlak en geen zekerheid dat het in de lucht blijft en niet kapot gaat bij een update. Betaalde aangepaste grafieken daarentegen resulteren in hogere kosten; De voordelen van de betere visualisatie kunnen daar vaak niet tegenop.
• Het volgende bij het effectief visualiseren van data is data storytelling. Data storytelling is een benadering voor het communiceren van data-inzichten die data, visualisaties en ook een verhaal omvat. Een nieuwe manier van data storytelling is videovisualisatie waarbij de data wordt gepresenteerd in een infographic video.
• We zien een duidelijke wens bij onze klanten om meer naar self-service BI te gaan in plaats van vooraf ontwikkelde rapporten en dashboards omdat:
  • De BI-afdelingen worden overspoeld met aanvragen voor dashboards en rapportages met de toenemende en uiteenlopende behoefte aan inzichten uit de data.
  • Steeds meer organisaties gaan over op datagedreven werkwijzen, waarbij meer medewerkers datavaardig zijn en dus in staat zijn om selfservice toe te passen.
  • De technologie van visualisatietools ontwikkelt zich snel, waardoor het voor mensen gebruiksvriendelijker wordt om met de data om te gaan.

We bespraken in deze blog de verschillende soorten datavisualisaties, enkele gouden regels om te volgen bij het ontwerpen van datavisuals en enkele trends die we in de markt zien. De datavisualisatielaag is afhankelijk van de andere lagen van de gelaagde architectuur; Voordat data kunnen worden gevisualiseerd, moeten de data in het dataplatform worden opgenomen, verwerkt, opgeslagen en geanalyseerd voordat ze moeten worden gevisualiseerd. Vaak zijn er ook organisatorische veranderingen nodig om beslissingen te nemen op basis van data. Zie het artikel "Organisatorische uitdaging van vandaag: Van onderbuikgevoel naar datagedreven besluitvorming" om te lezen over de uitdagingen en welke acties kunnen worden ondernomen om deze te overwinnen.

Het Data Modernization & Analytics team van Deloitte helpt klanten bij het moderniseren van hun data-infrastructuur om de levering van analyses te versnellen en kan u helpen bij het ontwerpen en ontwikkelen van dashboards, rapporten, self-service BI-datasets of embedded oplossingen en begeleiden bij de samenwerking met de andere lagen in het dataplatform. Onze volgende blog gaat over de lagen voor beveiliging en databeheer. Als u meer wilt weten over hoe de data kunnen worden beveiligd en beheerd, lees dan onze volgende blog in onze serie over de gelaagde architectuur.