Ga direct naar de inhoud

Hoe Agentic AI jouw analytics verandert en hoe hiermee om te gaan

Een strategisch raamwerk voor prestaties, optimalisatie en vertrouwen

Organisaties zijn in hoog tempo bezig GenAI en autonome agents te integreren in hun digitale producten. Hierbij blijkt dat traditionele product analytics – gericht op lineaire funnels, klikfrequenties en sessieduur –ontoereikend zijn voor het genereren van waarde of beheersen van risico’s. We zijn getuige van de opkomst van een op silicium gebaseerd personeelsbestand1, waarin AI-agents proactief plannen, uitvoeren en redeneren om gebruikersdoelen te bereiken.

Het economische potentieel van Agentic AI zal in 2030 naar verwachting 52,62 miljard dollar bedragen2, maar toch is consumentenvertrouwen het belangrijkste obstakel in het realiseren van deze waarde. Het percentage niet geslaagde AI projecten kan oplopen tot wel 80%3. Daarom moeten product analytics meer doen dan alleen prestatiebewaking. Het moet de vertrouwensarchitectuur van de onderneming gaan worden, om zo de kloof tussen technische mogelijkheden en menselijke betrouwbaarheid in een door AI gedreven wereld te overbruggen.

Van lineaire funnels naar agentgestuurdelussen

Traditionele digitale analytics is ontwikkeld voor een wereld met eindige, vooraf bepaalde keuzes. In zo’n wereld wordt het pad van de gebruiker bepaald doornavigatiemenu’s en informatiearchitectuur. Hierbij vormen analytics de analyse van uitval langs een vooraf gedefinieerd, lineair pad.

Maar in een wereld van conversationele AI en autonome agents werkt dit model niet meer. Gebruikers navigeren namelijk niet langer door structuren; ze geven hun intentie aan. En agents volgen geen hard gecodeerde scripts meer; ze redeneren en handelen dynamisch.

Stel je voor dat een gebruiker de volgende vraag stelt: “Boek een vlucht naar Londen voor minder dan 600 dollar en zoek een hotel in de buurt van het conferentiecentrum.” De agent doorloopt hiervoor één conversatie, waar vroeger vier afzonderlijke funnels in twee verticale segmenten voor nodig waren en gebruikt hierbij meerdere externe tools.

“Door Agentic AI werkt het lineaire analytics-model niet meer en wordt duidelijk dat we moeten overstappen van het in kaart brengen van acties naar het in kaart brengen van intenties en redeneringen.” 

Dus, hoe bouwen we een effectieve opzet voor agentic analytics?

Hiervoor moeten we inzicht krijgen in de ‘reasoning loop’ (populair gemaakt door het ‘React framework’): het proces waarbij een AI agent in meerdere stappen herhaaldelijk observeert, plant, handelt en evalueert.
In traditionele analytics werd het aantal klikken en paginaweergaven bijgehouden, terwijl met agentic analytics prompts, gespreksbeurten en tool-aanroepen worden bijgehouden.

Journeys verschuiven van lineaire bomen naar cyclische, niet-deterministische grafieken. Prestatie‑indicatoren verschuiven van conversieratio's naar containment‑ratio's, oplossingskwaliteit en klantsentiment. En het belangrijkste risico is niet langer uitval, maar hallucinaties, verkeerde afstemming en vastlopen in lussen.

Het menselijk oordeel en het vermogen om door semantische complexiteit te navigeren zullen dus een centrale rol blijven spelen.

Volgens de ‘2025 Connected Consumer Survey’ van Deloitte zijn consumenten eerder geneigd om gebruik te maken van – en te betalen voor – technologische ervaringen die zij vertrouwen4. Een agent moet meer zijn dan alleen snel; men moet er ook op kunnen vertrouwen.

In die zin moet analytics ‘vertrouwenssignalen ’ vastleggen: is de agent proactief geweest in het doen van relevante suggesties? Heeft hij de voorkeuren van de gebruiker op het gebied van gegevensprivacy gerespecteerd? Dit worden harde KPI’s, die van invloed zijn op retentie en merkperceptie.

Hoe bouw je dan een analytics backbone waarmee dit nieuwe paradigma van agentgestuurde lussen kan worden ondersteund?

De architectuur van agentische observabiliteit

Om de metrics en signalen van het agentische lusparadigma te ondersteunen, hebben you een architectuur nodig die geschikt is voor veel grotere datavolumes dan voorheen. De dichtheid en dimensionaliteit van LLM-logs (inputs, outputs, redeneringsstappen, tooloutputs, embeddings) zijn aanzienlijk complexer dan traditionele clickstream-data.
 

Het MELT-framework voor LLM's

Hoewel technologieën zoals ClickHouse, ElasticSearch en BigQuery onmisbaar worden voor het snel comprimeren en bevragen van loggegevens met hoge kardinaliteit, wordt het organiseren van data een even belangrijke taak.

Om deze data te organiseren, passen we het standaard IT-observabiliteitsraamwerk (Metrics, Events, Logs, Traces) aan voor GenAI:

  • Meetmethoden: Tokens per seconde, kosten per interactie, cache-hit rates, latentie en doorvoer.
  • Events: Tool-aanroepen, guardrail triggers en gebruikersfeedback (expliciete duimen omhoog/omlaag of impliciete signalen zoals kopiëren en plakken van antwoorden).
  • Logboeken: Exacte prompts en voltooiingen, plus audittrails die toegang en beslissingen vastleggen, cruciaal voor naleving van de EU AI-wetgeving.
  • Traces: End-to-end verzoekreizen over gedistribueerde systemen (bijvoorbeeld UI → orchestrator → LLM → vectordatabase → externe API → terug), cruciaal voor het debuggen van multi-agent latency.

 

Het onzichtbare visualiseren

Standaarddashboards kunnen de niet-lineaire aard van agentische gesprekken niet vastleggen. Wij raden aan:

  • Circulaire Sankey-diagrammen en netwerkgrafieken die gesprekspaden dynamisch in kaart brengen op basis van semantische clusters, waarbij "Ik wil een terugbetaling" en "Geef me mijn geld terug" in één flow-node worden gegroepeerd om verborgen intentiestromen te onthullen.
  • Toestandovergangsdiagrammen die de agent modelleren als een toestandsmachine om val-toestanden te markeren waar de agent vastloopt in lussen.  

De conversatiefunnel

De conversatiefunnel vervangt de statische paginafunnel als meeteenheid.
Deze volgt de kwaliteit van de dialoog, van intentieherkenning tot oplossing:

“In een lineaire funnel haken gebruikers tussen de stappen af. In een
conversatiefunnel gaan gebruikers tussen de stappen heen en weer.” 

Dit terugkeren naar eerdere stappen duidt vaak op verwarring of een slecht
ontworpen invulling van slots. Belangrijke statistieken om in de gaten te houden zijn onder meer de intentieherkenningsgraad, sentimentverval (hoe het sentiment verslechtert tijdens het heen en weer gaan), de containmentgraad (met een streefcijfer van 70-90% voor geavanceerde bots) en de ‘time-to-intent-oplossing’, om de snelheid de van de waarde te meten.

Prestaties, benchmarking en optimalisatie

Naarmate autonome AI-agenten evolueren van tools naar besluitvormende componenten van organisaties, moet prestatiemeting zich richten op het evalueren van hun kennisen mogelijkheden als digitale werknemers.

We onderscheiden vier categorieën statistieken:

Benchmarking kan uitdagend zijn, omdat agents niet deterministisch zijn. Organisaties passen ‘LLM-as-a-Judge-frameworks’ toe, waarbij een sterker model de productie-output evalueert aan de hand van een gouden dataset, met ideale reacties. Snelheid versus intelligentie vormt een belangrijke wisselwerking: snelle en eenvoudige agents zijn geschikt voor L1 ondersteuning, terwijl langzame en slimme agents complexe adviserende rollen vervullen.

De optimalisatielus wordt gesloten wanneer feedback van gebruikers (een ‘duim omlaag’ of een bewerkt concept) onmiddellijke logboekvermeldingen activeert die gekoppeld zijn aan gesprekstrajecten. Geautomatiseerde systemen analyseren clusters van mislukkingen om de systeeminstructies te verfijnen. Dit leidt tot continue verbetering.

Vertrouwen, veiligheid en governance

“Vertrouwen is de valuta van het Agentic-tijdperk.” 

Hallucinatie en 'groundedness'

Analytics moeten met behulp van Natural Language Inference (NLI)-modellen gebruikmaken van geautomatiseerde controles van de ‘grounding’ om antwoorden te verifiëren aan de hand van de opgehaalde context en denauwkeurigheid van citaten te meten.

 

Controle van autonome agents

Naarmate agents evolueren van ondersteunend naar autonoom, met name in risicovolle omgevingen, verschuift de aansprakelijkheid naar de onderneming:

  • Het "vluchtrecorder"-concept: Elke beslissing van de agent moet worden geregistreerd met een redeneringsspoor.
  • Compliance by Design: De AI Act van de EU vereist dat AI systemen met een hoog risico traceerbaar zijn. Auditors moeten gesprekken kunnen terugkijken en precies kunnen zien welke gegevens zijn geraadpleegd.
  • Analytics met toestemming: Anomaliedetectie controleert of agents toegang proberen te krijgen tot systemen die buiten hun bevoegdheid vallen.

 

Menselijke ervaring in het tijdperk van Agentic AI

Sentiment is niet statisch; Het is een traject. De frustratiecurve volgt hoe snel het sentiment daalt, wat escalatie naar een mens in gang zet. De 'tone delta'' meet de afstemming tussen communicatiestijlen tussen gebruiker en agent.

Om ervoor te zorgen dat agenten betrouwbaar zijn, vertrouwen we op Deloitte's Trustworthy AI-framework™ met drie belangrijke maatstaven:

  1. Anticipatieratio: Hoe vaak de agent proactief nuttige informatie aanbiedt voordat erom wordt gevraagd.
  2. Vergevingsfactor: Hoe snel sentiment zich herstelt na een fout van de agent.
  3. Transparantiescore: Of gebruikers begrijpen waarom de agent een beslissing heeft genomen.

 

De weg vooruit voor product analytics

De overgang naar Agentic AI is de belangrijkste verschuiving in digitale product analytics sinds de uitvinding van de cookie. We gaan van het observeren van klikken naar het begrijpen van intentie en redenering.

De organisaties die conversatieanalyses onder de knie krijgen zullen niet alleen conversiepercentages optimaliseren; ze zullen de relatie tussen menselijkeintentie en digitale uitvoering herdefiniëren.  

Klik hier om onze AI Customer Agents-series te ontdekken: een serie over het ontwikkelen van modulaire AI Customer Agents die tastbare waarde leveren. 

Did you find this useful?

Thanks for your feedback