Les données sombres expliquées... en moins de 100 mots

Si vous êtes physicien ou astronome (et dans le monde d'Analytics & Information Management, nous en avons quelques-uns), vous connaissez très bien le déséquilibre dans l'univers entre la matière visible - essentiellement les étoiles et les planètes que nous pouvons voir - et la "matière noire". La matière noire semble constituer une grande partie de la masse de l'univers, mais il est difficile de la voir ou de la mesurer.

Il en va de même pour les données. Une grande partie des données dont nous disposons sont visibles. La plupart de celles que vous voyez dans votre interface SAP ou Salesforce, ou dans votre application de banque mobile. Les noms des clients & ID, les valeurs des transactions. Codes et descriptions de produits. En analysant ces données, nous cherchons à obtenir des informations qui débouchent sur des actions commerciales.

Mais, tout comme la matière noire, il existe de nombreuses données cachées, qui ne sont pas toujours faciles à analyser. Et le volume de données cachées dépasse largement le volume de données visibles. Ces données sombres se trouvent dans les journaux, les métadonnées, les champs de texte et les documents, la vidéo, l'audio et les images. Alors que les données visibles peuvent être facilement analysées dans des bases de données, ces données sombres nécessitent une extraction complexe avant de pouvoir être analysées.

Il existe différents types de données sombres. Prenez un message, tel qu'un tweet. Un tweet est "sombre" car il faut en extraire la langue pour qu'un ordinateur puisse analyser ce qui y est écrit. Les métadonnées entourant le tweet sont également "sombres" : l'heure d'envoi, l'@utilisateur, le #hashtag, l'appareil, le lieu. L'analyse du texte du tweet vous donne un aperçu de ce qui est dit, de qui l'a dit, de la joie ou de la colère de l'expéditeur. Le tweet peut contenir des images ou du son qui, analysés à l'aide d'outils de reconnaissance d'images, permettent d'extraire du contenu tel que des descriptions ou des termes. Les métadonnées de processus sont "sombres". Dans un système SAP par exemple, les enregistrements des métadonnées relatives aux transactions - lorsque les données ont été créées ou modifiées (par exemple de "en cours" à "terminé" ou "renvoyé") - peuvent donner des indications en utilisant ce que nous appelons la "bionique des processus" pour comprendre exactement quel volume de transactions ne suit pas le processus conçu et pourquoi.

Je prends une photo avec mon téléphone et la publie sur Facebook, la partageant avec mes amis. J'ai partagé deux types de "données sombres" : la publication et la photo elles-mêmes, ainsi que les métadonnées qui les entourent - où et quand la photo a été prise et téléchargée, et par qui. Lorsque la photo est "aimée", Facebook sait à qui je suis connecté. Il regroupera ce message avec des millions d'autres messages et photos pour obtenir des informations qui conduiront, dans le cas de Facebook, à des publicités ciblées ou à la vente d'informations à d'autres entreprises.

Tout comme une transaction de vente fournit un enregistrement à un moment donné et ne fournit de véritables informations que lorsqu'elle est collectée, agrégée et analysée avec d'autres données de transaction, il en va de même avec les données brutes - ce n'est pas le message, la transaction ou le document individuel qui fournit une information spécifique, mais ce qu'il signifie dans le contexte de schémas plus larges.

L'année dernière, c'est exactement ce que nous avons fait pour la plateforme numérique d'une grande banque, en l'aidant à identifier et à mener des actions qui ont doublé l'engagement des clients avec l'application numérique commerciale. Les journaux derrière chaque site web ou site mobile ont enregistré les traces du comportement de chaque utilisateur, ce qui nous a permis de savoir quelles parties de l'expérience numérique fonctionnaient et lesquelles ne fonctionnaient pas. Le client a alors été en mesure de modifier la conception de l'application et de fournir des recommandations basées sur une combinaison de données visibles (transactions et soldes) et de données obscures (journaux, pages consultées, conseils vus), ce qui a permis d'améliorer l'expérience et le service bancaire.