Guide utilisateur

Une Measure est un point de donnée dans le temps. On peut y associer des méta-informations sous forme de tags.

Un Chunk est un ensemble de Measures ordonnées chronologiquement groupées par nom ou valeurs de tags. La valeur est un tableau de bytes encodé en protocol buffer, ce qui implique la compaction des données.

Comme vous pouvez le constater lors du passage entre la Measure et le Chunk de Measure, le "timestamp" a été remplacé par "start" et "stop" qui définissent l’intervalle de temps, la valeur est, elle, passée d’un double dans le champs "value" à une string en base64 appelée "chunk". Cette string contient l’ensemble des valeurs du chunk, compressées par un algorithme.

Dans solr les chunks sont stockés avec le schéma suivant :

On notera que le Chunk comporte des champs aggrégés. Outre les statistiques classiques sur la valeur et la qualité du point, on intègre aussi l’encodage symbolique avec SAX.

L’avantage d’utiliser SAX est qu’il est capable d’agir comme un outil de réduction de dimensionnalité, il tolère les séries temporelles de différentes longueurs et facilite la recherche de tendances.

Le codage SAX est une méthode utilisée pour simplifier les séries chronologiques grâce à une sorte de résumé des intervalles de temps. En calculant la moyenne, en regroupant et en représentant symboliquement les périodes, les données deviennent beaucoup plus petites et plus faciles à traiter, tout en capturant ses aspects importants. On peut par exemple s’en servir pour détecter des changements statistiques des tendance et donc des comportements anormaux.

https://www.kdnuggets.com/2019/09/time-series-baseball.html http://www.marc-boulle.fr/publications/BonduEtAlIJCNN13.pdf

Cette installation est celle à privilégier si vous êtes nouveau dans l’utilisation du data historian et que vous voulez essentiellement le tester. L’installation n’est pas faite pour la production (ou les noeuds seront redondés) ni pour des larges volumes de données (ce n’est qu’une seule machine). Mais cette installation peut évoluer vers une installation de production si nécessaire.

Si vous avez coupé Solr ou bien si vous avez redémarré votre ordinateur vous pouvez relancer ce Solr avec les commandes suivantes :

Vérifiez que votre instance Solr fonctionne correctement en allant sur l’interface graphique à l’adresse suivante : local solr UI

Si cela ne marche pas car un PID (un process id) existe et le data historian est supposé up, alors faite un stop, puis refaite un start.

Pour arrêter l’historian taper la commande suivante :

Attention ces commandes n’affectent ni Grafana ni Solr qui sont des services indépendants.

Utilisez restart si c’est un redémarrage. Si votre grafana ne tourne pas déjà utilisez start.

Cette section va nous apprendre à injecter un fichier CSV dans l’historian. Le folder samples du data historian contient des exemples. Nous allons injecter les données du sous folder happiness ; quelques fichiers qui donnent le score de "happiness" des pays chaque année.

Excecutez la commande suivante (dans ce qui suit remplacez $HDH_HOME par votre répertoire d’installation et éventuellement l’adresse de votre serveur historian si vous n’avez pas effectué une installation locale ):

et bien sûr vous pouvez appliquer la même requête à tous les fichiers de 2016 à 2020. Cela vous fait un petit jeu de données sur lequel nous allons pouvoir apprendre à faire des choses.

Ces query devraient retourner une réponse de ce type :

Une manière de voir si vous données ont bien été injectées est de les requêter. Essayons de voir la progression du bonheur (métrique happiness) en France sur les années 2015 à 2020. Et essayons de l’obtenir en Json.

Déjà regardons simplement si il existe des métriques happiness dans l’historian avec la requête suivante:

Cette query retourne une réponse de ce type :

En filtrant sur le tag Country (= France) nous devrions avoir les enregistrements de la France uniquement.

Cette query retourne la réponse suivante :

Obtenir l’ensemble des noms de métriques.

Ici on précise que l’on désire avoir toutes les noms de métrique contenant la string "ha" mais de n’en retrouner qu’un maximum de 100. Si l’on ne renseigne pas le champ "name" alors la requête retourne tout les noms de métrique.

Obtenir l’ensemble des tags présent dans l’historian.

Cette query retourne la liste des tags présent en json :

Obtenir l’ensemble des valeurs d’un tag.

Ici on précise que l’on désire avoir toutes les valeurs existante pour le tag "Country" contenant la string "F" mais de n’en retrouner qu’un maximum de 100. Si l’on ne renseigne pas le champ "name" alors la requête retourne tous les noms de métrique.

Cette query retourne cette liste :

Attention la requête est sensible aux majuscules. La même requête avec un "f" minuscule retournera en effet :

Obtenir des mesures en spécifiant :

Cette query retourne cette réponse :

Nous obtenons bien moins de 10 points. Attention comme nous n’avons pas précisé de tags les valeurs de tous les pays sont mélangés !

Apache Spark est une plateforme open source pour traiter de grandes quantités de données en parallèle sur un cluster de machines.

Hurence Data Historian est très intégré avec Spark de telle sorte que vous puissiez gérer des intéractions avec les données (en entrées pour en injecter ou en requêtage pour les obtenir sur des critères), et ceci avec une API Spark simple.

Les commandes suivantes vous montrent comment prendre un dataset en CSV depuis HDFS (le système de fichiers de Hadoop) ou depuis un système de fichier local, et le charger dans HDH.

Le logiciel Open Source de Hurence permettant de faire du stream processing (donc du traitement temps réel de données) permet bien sûr d’injecter des données "à la volée", notamment celles que vous aurez pu "pousser" dans un bus de message Mqtt ou Kafka.

Hurence Data Historian est donc capable de traiter des données de capteurs et de les stocker et grapher en temps réel.

Pour mettre en place une chaîne d’injection temps réel, le mieux est de contacter Hurence pour un petit accompagnement car cela devient du vrai Big Data temps réel.

En général vous voudez visualiser vos données plutôt que de les requêter. Allez sur l’URL de grafana. Vous pouvez vous logger en tant que user: admin et pwd: admin (Vous pouvez passer l’écran suivant).

Vous avez une page d’accueil que nous pouvez lire puis faire disparaître. Afin de pouvoir consulter les données du data historian :

Pour créér des dashboards il faut aller sur l’interface graphique de grafana l’URL de grafana (localhost étant à remplacer par un nom de machine si vous n’êtes pas en installation standalone).

Ensuite créez un nouveau dashboard.

Ajoutez les graphes que vous voulez, un petit exemple ci-dessous :

Pour configurer la time range :

TODO remarque sur la visu

Si on filtre sur le tag "Country" avec la valeur France par exemple on obtient :

Pour cela il faut cliquer sur "Add new tag filter". Puis sélectionner la valeur "Country" comme "Tag name". Enfin cliquer sur "Tag value" et commencer à taper le nom du pays désirer puis sélectionner "France" lorsque celui-ci apparaît.

TODO général note

Une "query" (requête) consiste à renseigner un nom de métrique, et des paires de tag name/tag value ainsi que des options pour l’algorithme de sampling.

Cette section vous apprend à stopper les intances SolR. Attention cette commande va éteindre Solr (cela pourrait impacter d’autres service utilisant Solr).