Dunkle Daten erklärt... in weniger als 100 Worten

Wenn Sie Physiker oder Astronom sind (und davon gibt es in der Welt von Analytics & Information Management einige), werden Sie mit dem Ungleichgewicht im Universum zwischen der sichtbaren Materie - im Wesentlichen die Sterne und Planeten, die wir sehen können - und der "dunklen Materie" bestens vertraut sein. Die dunkle Materie scheint einen grossen Teil der Masse des Universums auszumachen, aber es ist schwierig, sie zu sehen oder zu messen.

Mit den Daten verhält es sich ähnlich. Ein grosser Teil der Daten, die wir haben, ist sichtbar. Das meiste, was Sie über Ihre SAP- oder Salesforce-Schnittstelle oder Ihre mobile Banking-App sehen. Kundennamen & IDs, Transaktionswerte. Produktcodes und Beschreibungen. Durch die Analyse dieser Daten versuchen wir, Erkenntnisse zu gewinnen, die zu geschäftlichen Massnahmen führen.

Aber genau wie bei der dunklen Materie gibt es da draussen eine Menge versteckter Daten, die nicht so leicht zu analysieren sind. Und das Volumen der dunklen Daten übersteigt das Volumen der sichtbaren Daten bei weitem. Diese dunklen Daten befinden sich in Protokollen, in Metadaten, in Textfeldern und Dokumenten, in Videos, in Audiodaten, in Bildern. Während sichtbare Daten leicht in Datenbanken analysiert werden können, müssen diese dunklen Daten erst kompliziert extrahiert werden, bevor sie analysiert werden können.

Es gibt verschiedene Arten von dunklen Daten. Nehmen Sie eine Nachricht, z. B. einen Tweet. Ein Tweet ist "dunkel", da die Sprache extrahiert werden muss, damit ein Computer analysieren kann, was darin geschrieben steht. Auch die Metadaten rund um den Tweet sind "dunkel" - die Sendezeit, der @Nutzer, der #Hashtag, das Gerät, der Standort. Die Analyse des Textes im Tweet gibt Ihnen einen Einblick in das, was gesagt wird, wer es gesagt hat, wie glücklich oder wütend der Absender ist. Der Tweet kann Bilder oder Audiodaten enthalten, die bei der Analyse mit Bilderkennungstools Inhalte wie Beschreibungen oder Begriffe extrahieren können. Prozess-Metadaten sind 'dunkel'. In einem SAP-System zum Beispiel können die Aufzeichnungen der Metadaten zu den Transaktionen - wann die Daten erstellt oder geändert wurden (z.B. von "in Bearbeitung" zu "abgeschlossen" oder "zurückgeschickt") - Einblicke in das geben, was wir als "Prozessbionik" bezeichnen, um genau zu verstehen, welche Menge an Transaktionen nicht dem vorgesehenen Prozess folgt und warum.

Ich nehme ein Foto mit meinem Telefon auf und poste es auf Facebook und teile es mit meinen Freunden. Ich habe zwei Arten von "dunklen Daten" geteilt - den Beitrag und das Foto selbst und die Metadaten dazu - wo und wann das Foto aufgenommen und hochgeladen wurde und von wem. Wenn es "gefällt" wird, weiß Facebook, mit wem ich verbunden bin. Es wird diesen Beitrag mit Millionen von anderen Beiträgen und Fotos zusammenfassen, um Erkenntnisse zu gewinnen, die im Fall von Facebook zu gezielter Werbung oder zum Verkauf von Erkenntnissen an andere Unternehmen führen.

So wie eine Verkaufstransaktion eine Aufzeichnung eines Zeitpunkts darstellt und nur dann wirkliche Erkenntnisse liefert, wenn sie zusammen mit anderen Transaktionsdaten gesammelt, aggregiert und analysiert wird, so ist es auch bei dunklen Daten - es ist nicht die einzelne Nachricht, Transaktion oder das Dokument, das eine spezifische Erkenntnis liefert, sondern was es im Kontext grösserer Muster bedeutet.

Letztes Jahr haben wir genau dies für die digitale Plattform einer grossen Bank getan und der Bank dabei geholfen, Maßnahmen zu identifizieren und voranzutreiben, die das Engagement der Kunden in der digitalen App verdoppelt haben. Die Protokolle hinter jeder Website oder mobilen Website zeichneten die Spuren des Verhaltens jedes Nutzers auf, so dass wir Erkenntnisse darüber gewinnen konnten, welche Teile des digitalen Erlebnisses funktionierten und welche nicht. Der Kunde war dann in der Lage, das Design der App zu ändern und Empfehlungen zu geben, die auf einer Kombination aus den sichtbaren Daten (Transaktionen und Kontostände) und den dunklen Daten (Protokolle, aufgerufene Seiten, gesehene Ratschläge) basierten, was zu einer verbesserten Erfahrung und einem besseren Bankdienst führte.