Faire émerger des tendances dans les flux de données en mouvement

Aujourd’hui les données affluent de toutes parts : des systèmes opérationnels et transactionnels des organisations, à partir de scanners, de capteurs et de compteurs intelligents, des points de contact clients entrants et sortants, des terminaux mobiles et du Web. Ces flux de données contiennent une foule d’informations précieuses – à condition de les capturer et de les analyser. Une tribune de Frédéric Combaneyre, Streaming Solutions Manager, SAS Global Technology Practice.

Mais comment gérer un tel torrent de données ? Où les conserver ? Combien de temps faut-il pour leur donner du sens ? Les approches traditionnelles, qui analysent des données stockées, peuvent bien sûr fournir des informations mais bien trop tard pour de nombreux usages – et la plupart des applications classiques orientées « temps réel » ne peuvent traiter ces flux constants de données.
Voici l’idée : Analyser les flux de données à la volée. Détectez ce qui est significatif, prenez seulement ce dont vous avez besoin, obtenez un aperçu instantané et prenez des décisions immédiatement.
Telle est la promesse du traitement de flux d’événements (souvent appelé Event Stream Processing). Le flux de données entrantes est analysé en continu, et déclenche une action à partir de la détection d’un évènement particulier dans le flux d’information. C’est une forme de traitement d’événements complexes (ESP/CEP) qui vous donne les moyens (ou à un système automatisé) de repérer des séquences temporelles d’évènements et de prendre des décisions plus rapidement que jamais.

 

 « Agrégation, corrélation et analyse temporelle différencient le traitement de flux d’événements (ESP) des autres approches, en révélant ce qui se passe maintenant, et pas seulement ce qui est arrivé dans le passé, afin de prendre des mesures immédiatement. »

 

Les trois étapes du streaming des données

 

Les trois étapes du streaming des données

Le traitement des flux d’événements repose sur trois principales fonctionnalités afin de gérer les données en mouvement : l’agrégation, la corrélation et l’analyse temporelle.

  1. Agrégation. Imaginons que vous vouliez détecter des fraudes à la carte-cadeau : « Alertez-moi quand la valeur cumulée de rachat des cartes-cadeaux sur toute machine en point de vente est supérieure à 2000 $ en une heure ». Le traitement de flux d’événements peut effectuer les calculs en continu dans une fenêtre de temps glissante pour comprendre les tendances en temps réel. Effectuer cette agrégation en continu est particulièrement compliqué avec des outils traditionnels, mais elle est intégrée au moteur de SAS® Event Stream Processing.
  2. Corrélation. Connectez de multiples flux de données en mouvement et vérifiez sur une période de temps – secondes ou jours – si la condition A a été suivie par B, puis C. Par exemple, si nous nous connectons aux flux d’encaissement de cartes-cadeau de 1000 terminaux de point de vente, le traitement des flux d’événements pourrait en continu comparer les terminaux d’un point de vente à l’autre, et détecter des évènements comme par exemple : « Générer une alerte si l’encaissement de cartes-cadeau dans un magasin est supérieur à 150% de la moyenne des autres magasins. »
  3. Analyse temporelle. Le traitement de flux d’événements est conçu selon le concept de l’utilisation du temps comme élément de calcul primaire, ce qui est essentiel pour les scénarios où la fréquence et le moment des évènements importe. Par exemple, des augmentations soudaines d’activité peuvent être des indices de fraude potentielle. Ce type d’analyse pourrait détecter ces surtensions lorsqu’elles se produisent, par ex. : « Si le nombre de ventes de cartes-cadeaux et les activations de cartes dans les quatre heures est supérieure à la moyenne des activations quotidiennes de ce magasin dans la semaine précédente, cesser d’approuver les activations. » Contrairement aux modèles de calcul qui récapitulent les données historiques, cette méthode interroge les données en continu et répond à ces questions à mesure des mouvements.

Grâce à ces trois fonctionnalités, cette approche révèle ce qui se passe maintenant, contrairement aux approches traditionnelles qui révèlent ce qui est arrivé dans le passé, afin d’agir immédiatement.

Des applications analytiques plus riches et plus puissantes

 

Le traitement de flux d’évènements donne toute sa valeur quand il est intégré dans des applications analytiques, telles que la gestion des risques, la détection et la prévention des fraudes, la lutte contre le blanchiment d’argent et la connaissance client. Il peut être utilisé pour détecter des tendances et filtrer des événements pertinents à envoyer vers des solutions analytiques avant de stocker les données. Il peut aussi détecter les données nécessaires à un calcul spécifique, dès que disponibles, afin de l’exécuter immédiatement.
Avec la capacité de traiter des millions d’enregistrements par seconde (avec des latences autour d’une microseconde), les seules limites sont l’imagination.

 

Quelques idées pour démarrer :
• Les transactions sur un même numéro de carte de crédit proviennent de plus de trois sociétés en une minute : bloquer la prochaine demande, mettre une alerte sur ce compte et envoyer un message au tableau de bord de détection de fraude.
• Le niveau de stock du dernier tome de Millénium tombe à 10% du minimum, par rapport aux achats des 10 dernières heures : alerter la centrale de distribution pour lancer le processus de réapprovisionnement.
• Le temps entre les transactions par carte de crédit en magasin dans différentes villes est inférieur au temps de voyage entre ces villes : mettre le compte en attente et une alerte pour enquête.

Le traitement de flux d’événements répond à ces questions tout en réduisant les besoins de stockage, les demandes de calculs et le temps de décision. Considérez les téra, péta et exaoctets de données circulant dans et autour de l’entreprise, et soyez en mesure de trouver rapidement des pépites de grande valeur pour les utiliser et prendre de meilleures décisions, plus rapidement !