L'évolution de la gestion des données IOT avec Joseph A di Paolantonio

Le billet d'aujourd'hui nous vient de Joseph A. di Paolantonio, un expert de l'industrie qui travaille à la convergence de l'IdO avec la gestion des données et l'analyse chez DataArchon.com et le Boulder BI Brain Trust. S'appuyant sur une carrière qui a commencé par la recherche sur les énergies renouvelables dans des études supérieures et dans l'industrie, le développement de modèles et d'algorithmes d'évaluation des risques pour les systèmes aérospatiaux, et la gestion d'équipes pour l'entreposage de données d'entreprise, la BI et la science des données, Joseph définit des écosystèmes d'analyse de capteurs pour apporter de la valeur à l'IdO.

Qu'est-ce que l'IOT ?

Cela fait très longtemps que nous nous demandons ce qu'est l'IdO. Depuis que Kevin Ashton a inventé l'expression en 1999, et peut-être même depuis que Nikola Tesla a joué pour la première fois avec un bateau télécommandé en 1898. Pour beaucoup, le simple fait de connecter un appareil, pas un ordinateur, pas un routeur, à l'internet suffit. Mais même si tout ce qui nous entoure, au travail, à la maison, pour les affaires, pour les loisirs, était connecté... Cela fait-il l'internet des objets ? Cela répond-il à l'engouement ou aux histoires qui entourent l'IdO ? Pas du tout.

evodatamgmt_webinar_g

Lorsque nous observons la manière dont l'IdO se développe, nous voyons en fait un Internet de quelques objets, ou de nombreux Intranets d'objets similaires. Nous voyons apparaître de nombreux secteurs verticaux, tels que l'internet industriel des objets, avec des silos encore plus fins créés au sein de chaque secteur industriel vertical. Des sous-ensembles de l'IdO sont créés dans les secteurs verticaux traditionnels, tels que les soins de santé, les transports publics, les voitures autonomes, l'agriculture et l'exploitation minière. Et d'anciens marchés, tels que la domotique, les infrastructures de comptage avancées et la planification urbaine, sont revitalisés par l'IdO sous la forme de maisons intelligentes, de réseaux intelligents et de villes intelligentes. Mais que l'on remonte aux expériences de Tesla avec le RC, aux premiers ordinateurs embarqués des années 1980 ou même aux puces RFID (identification par radiofréquence) dans les biens de consommation courante qui ont conduit M. Ashton à inventer le terme, l'IdO n'en est qu'à ses balbutiements. Ne vous y trompez pas, l'IdO est là, mais à différents niveaux de maturité, à mesure que nous avançons dans un modèle de connexion, de communication, de collaboration, de contextualisation et de cognition. Le point commun entre toutes ces différentes mises en œuvre des concepts de l'IdO est l'utilisation d'une gestion et d'une analyse des données (DMA) en constante évolution. Cette évolution s'est accélérée grâce aux concepts de big data et, plus récemment, de fast data. Un autre point commun est que l'utilisation d'une gestion et d'une analyse des données évoluées, associée aux technologies et aux processus de l'IdO, permet à tous les acteurs de bénéficier de propositions de valeur similaires :

  1. Compréhension et fidélisation des clients
  2. Améliorations de la ligne de fond
  3. Efficacité des processus
  4. Prédictifs pour la maintenance, les recommandations, le taux de désabonnement et les achats

Tous ces éléments, et bien d'autres encore, seront améliorés à mesure que les silos de l'IdO commenceront à prendre en charge des espaces de solutions qui sont uniquement servis par les processus et les technologies de l'IoT DMA, et plus encore à mesure que ces derniers évolueront vers des écosystèmes d'analyse de capteurs (SAE).

Gestion des données de l'IdO et analyse des capteurs

La valeur à tirer de l'IdO, qu'il s'agisse de tous les IdO verticaux ou d'un vaste IdO global, est dérivée des données. L'essentiel est que cette valeur peut être trouvée sur le site Cloud, dans d'autres points centraux tels que le "back office" ou un centre de commande, à la périphérie, là où se trouvent les capteurs et les actionneurs, et à tous les points intermédiaires. Prenons l'exemple des transports. Chaque capteur et actionneur d'un véhicule, connecté à l'internet, doit communiquer avec d'autres ensembles de capteurs à l'intérieur du véhicule et sur les places de parking, il peut y avoir une collaboration entre les véhicules sur une route ou une zone commune, et le véhicule a besoin d'un contexte à partir d'autres données provenant de hubs et de passerelles autour d'une ville, puis du site cloud - éviter les dangers de la circulation ou le conducteur qui devient erratique ou la disponibilité des places de parking, et nous voyons déjà des exemples de cognition dans les véhicules autonomes et les robots de livraison. Ce qui a commencé avec les concepts de big data s'accélère pour devenir une imbrication étonnamment complexe de nombreux flux de données, à la fois en temps réel et historiques, mettant à jour les algorithmes, les connaissances préalables et les ensembles de formation à la volée, à mesure que chaque petit ensemble de données provenant de chaque paire capteur-actionneur s'accumule sur des collections d'objets et au fil du temps. Bien entendu, tous ces ensembles de données peuvent ne pas être compatibles. Nous gérons ces incompatibilités de données depuis le déploiement du premier entrepôt de données. Mais pourriez-vous imaginer essayer de gérer des scénarios IoT avec un projet d'entrepôt de données des années 1990 ? Pas du tout. Les normes peuvent peut-être nous aider.

Les normes sont formidables... Il y en a tellement...

Nous suivons plus de trente organismes de normalisation, dont beaucoup ont des centaines de normes qui se chevauchent et se contredisent pour l'IdO en général, ou dans des secteurs verticaux spécifiques, qui couvrent le transport des données de l'IdO, les paquets de données de capteurs, les protocoles sémantiques et les protocoles de communication de l'IdO. Toutes ces normes peuvent être très déroutantes. Essayer de déterminer comment ces normes s'intègrent dans votre flux de données et vos processus d'entreprise peut être décourageant. Mais surtout, nous verrons comment les interfaces de programmation d'applications et les métadonnées peuvent vous aider à adopter les concepts de l'IdO dans votre organisation dès aujourd'hui. Tout comme nous ne pouvons pas envisager de résoudre la gestion des données de l'IdO comme nous le ferions pour un entrepôt de données dans les années 1990, nous devons rechercher de nouvelles solutions pour rassembler les données de l'IdO. Par exemple, un capteur ou un site IoT plateforme peut conditionner ses données en JSON et un autre en XML. Remplacer un capteur qui utilise JSON par un autre qui utilise XML, et en plus de la nécessité d'analyser ces différentes données, il faut également reconnaître que les nouvelles données représentent une continuité des anciennes données, et que l'analyse des capteurs à partir de cet emplacement doit se poursuivre sans heurts. Il peut nous être demandé d'ingérer les données à partir de MQTT, ou de CoAP, ou d'un flux SQL dans Apache Calcite. Il se peut que nous souhaitions évaluer les données en temps réel à partir de modèles d'apprentissage automatique, au fur et à mesure que nous collectons les données. Les données chronologiques, les données de localisation et toutes les métadonnées sur les capteurs, les actionneurs, les paquets, les dispositifs, les algorithmes et les utilisations spécifiques doivent être gérées avec une traçabilité bidirectionnelle fournissant une lignée de données continue. Les outils et l'architecture permettant de traiter les données de l'IdO et de créer des SAE sont très différents des opérations commerciales et des besoins d'il y a dix ans.

Architecture

L'architecture de données ne peut plus être basée sur le simple flux de données des systèmes transactionnels internes vers les entrepôts de données pour le reporting et le traitement analytique en ligne (OLAP). Pour un excellent examen d'une architecture de données moderne, avec une mise en œuvre par le biais du concept de lac de données, jetez un coup d'œil au livre blanc et à l'article de Mark Madsen de Third Nature. webinar de Mark Madsen de Third Nature. Une architecture de données qui intègre des données IoT doit prendre en compte plusieurs facteurs qui ne sont pas standard.

  • analyse en continu
  • les interactions entre les points de collecte, d'agrégation et d'analyse, depuis les capteurs jusqu'à la périphérie du réseau, en passant par les passerelles, les centres régionaux et le site cloud , et vice-versa.
  • mise à jour des connaissances préalables, des ensembles d'apprentissage et des distributions de test, ainsi que des modèles
  • algorithmes évolutifs
  • données ouvertes
  • modification des sources tierces
  • l'obtention d'un contexte à partir de la périphérie pour les systèmes OT et IT centraux, cloud, sur site ou hybrides
  • apporter un contexte à la périphérie à partir de n'importe quel autre endroit

A retenir

Tout au long du webinarnous discuterons de cinq façons dont les participants à webinar peuvent se préparer à l'IdO dans leurs propres organisations.

  1. Identifier les produits et services instrumentés
  2. Définir les améliorations potentielles à partir des données IoT
  3. Quelles sont les données que vous collectez actuellement ? Quelles sont les données disponibles que vous ne collectez pas ? De quelles données avez-vous besoin pour réaliser les améliorations ?
  4. Comment allez-vous gérer et intégrer les nouveaux ensembles de données à travers tous les points de collecte, de stockage et d'utilisation, de la périphérie à l'adresse Cloud?
  5. Quelle est l'infrastructure DMA disponible ou nécessaire pour l'entrée de données en temps réel et la combinaison de données historiques et en temps réel ?

Les détails sont toujours la partie intéressante, alors j'espère que vous vous inscrirez et que vous participerez à la conversation le 27 octobre 2016 à 10h00 PDT.

Nous recrutons !

Découvrez votre prochaine grande opportunité de carrière.