物联网数据分析体系建设
1.“Cloud-edge-end”架构在用于下一代信息基础设施的物联网架构中，数据处理和基于数据的智能服务变得越来越重要。在过去的两年里，出现了一个名为“边缘计算”的热词，这意味着简单的计算和分析过程需要更贴近终端设备，以确保数据数据的实时处理。它还降低了数据传输的风险。最近，出现了一个新的热门词，称为“云端协作”。其含义与边缘计算没有太大区别。它只强调“云端到端”的架构。终端负责全面感知，边缘负责本地数据。分析和推理，而云收集所有边缘感知数据，业务数据和互联网数据，以完成行业和行业的态势感知和分析。
基于AI的智能服务贯穿云端端架构。在传感终端中，AI技术旨在提高综合感知的灵敏度，准确性和人机交互以及对象交互。通过芯片实时，也简单的逻辑推理。
在边缘，AI技术主要负责收集域中的本地数据和相关业务数据，完成感知数据的分析和推理，并将相关的分析结果或模型传输到感应终端实现感知。终端与边缘云之间的协作，同时，边缘云和边缘云也可以通过网络共享数据，资源，算法等，完成边缘云之间的相互协作。
在云端，不仅需要提供与云计算相关的存储，计算，网络，边缘云等安全资源，还需要收集和整合所有数据，提供基于全局数据的智能服务，包括智能调度，运营和维护，宏观决策等。
云中心专注于全球，非实时，长周期大数据处理和分析，并可在长期维护中发挥优势，商业决策支持等领域。
边缘计算更适合于本地，实时，短周期的数据处理和分析，并且可以更好地支持实时智能决策和本地服务的执行。边缘计算和云中心是互补和协同的。边缘云协作将放大边缘计算和云计算的应用价值：边缘计算接近执行单元，它是云所需的高价值数据的获取和初步处理单元。云支持云应用;相反，通过大数据分析和处理优化输出的云计算的业务规则或模型可以被传递到边缘，并且边缘计算基于新的业务规则或模型。
除了边缘云协作，云互联和云网络融合也成为重要趋势，指的是云中心之间的互联和共享，包括动态调整服务资源，合理分配计算资源和定制。业务互操作性等
2，物联网中的知识地图
上面说人工智能是通过“云端”整体架构，关于物联网中的人工智能和知识地图，我认为有几点：
语义对象＃所谓的语义对象关联是通过语义建模建立一套标准的物联网语义，并具有对象的属性，状态，动作和能力的标准规范，可以实现对象。描述，分析，注册，访问和识别以解决诸如对象是什么，在哪里以及如何使用等问题。
图使能能##;所谓的地图启用是建立一个语义网络，一个类似于知识地图的能力图，实现各种感知数据的融合和文章能力的规范整合，基于对象的描述，做“对象发现”以及对象和功能的集成。
知识规则＃;知识规则和能力图的建立构成了完整的知识地图模型，以完成感知数据和商业数据的整合。建立以业务知识为核心的规则引擎，实时完成简单逻辑的分析和推理。
学习深化
整合全局感知数据，业务数据和互联网数据，基于规则引擎，使用连接主义学习加深思想学习和推理隐藏知识，现有规则引擎完善实现自动学习。
3，物联网数据数据分析
关于物联网数据数据中常见的数据，应用程序，模型和模型，借用互联网上的描述，略有归纳：
我们从新一代架构中描述的数据主要包括物联网数据，业务数据和互联网数据。在这里，我们专注于物联网数据。
＃1;
（1）物联网数据
数据分类
静态数据和动态数据
在数据变化方面，物联网数据可分为静态数据和动态数据静态数据主要是标签类，地址类数据，RFID生成的数据大多是静态数据，静态数据大多存储在结构化的关系数据库中;动态数据是时间序列数据，IoT动态数据特征是每个数据与时间一一对应，这种关系在数据处理中尤为重要。这种数据存储通常存储在时间序列数据库中。
静态数据会随着传感器和控制设备数量的增加而增加;动态数据不仅随着设备数量的增加而增加，传感器的数量也会增加，而且还会随着时间的推移而增加。
无论静态数据还是动态数据，物联网1.0中的数据增长都是线性的，而不是指数级的，但由于物联网动态数据是连续的，因此数据量也很大。因此，物联网1.0数据的压力是可控制的，并不像宣传那样无法控制和无法控制。
能源/资产属性类/诊断类/信号类
就数据的原始特性而言，我们可以将物联网数据分类为能源类数据，资产属性类数据，诊断类数据和信号类数据。
能源数据：指计算能耗所需的能源相关或相关数据，如电流，电压，功率因数，频率，谐波等。能源数据是物联网最关键的数据类型。物联网的最终目标之一是节约能源。获取能源数据，了解能源数据和分析能源数据是实现物联网的基本功能。能量收集设备也是物联网中最重要的设备之一。
资产属性类数据：资产类数据通常是指硬件资产数据，如设备规格，参数和其他属性，设备位置信息，设备从属关系等。基于资产的数据主要用于资产管理。资产管理是工业物联网的一项非常重要的功能，甚至可以作为一个独立的系统进行研究，因为它可以与几乎所有系统（如ERP系统，MES系统和物流）进行交互。
诊断数据：诊断数据是指设备运行期间设备运行状态的数据。有两种类型的诊断数据：一种是设备的操作参数，例如设备的输入/输出值。对于传统的工业自动化数据，即OT技术相关数据;另一种是设备外围诊断数据，如设备表面温度，设备噪声，设备振动等。值得一提的是，外围诊断是体现物联网技术的地方。它包括新的传感器技术和物联网通信技术。外围诊断数据是预测性维护的重要元数据，也是深度控制模型的基础，因此诊断数据是我们需要关注的数据类型。
信号类型数据：信号类型数据或报警类型数据是目前工业领域中最常用的数据，因为它直观，易于理解和关键，同时在本地和远程通知。
类似信号的数据很容易被忽视，但它是物联网所需的数据之一，可以快速收集并为物联网系统提供重要的参考价值。
数据相关性数据之间的相关性是不同数据之间的关系。数据之间的关系对理解整个系统的运行以及数据之间的正确关系具有最直接的影响。梳理是系统有效运作和价值的基石。
数据之间的相关性可以从以下几个方面进行分析：
时间相关性：即数据摄影的同时，数据是由系统同时生成的，它反映了系统的状态这一刻，从数据世界的角度来看，这个系统就是此刻的数据集合。数据摄影反映了系统的静态显示;时间戳是此类数据的关键因素，因此每次数据采集所需的时间戳必须相同。目前许多数据都缺少时间戳，在物联网的实施中也需要解决和解决时间戳。其中一个问题。
流程关联性：即一个点的数据进过一定时间后影响第二个点数据的产生，它表现的是系统动态的流程展现。数据之间的流程关系性需求模型提供，并在施行中停止修正。
数据的时效性
数据的时效性是指数据产生到其被肃清的时间，数据时效性是由系统的施行部署所决议。数据能够被运用屡次也能够被运用一次后就能够被肃清。总体来说远程部署数据还是边缘部署数据影响着数据的时效性，通常边缘部署的数据时效性短，远程数据的时效性长。边缘部署需求的数据通常及时性强，但是边缘存储空间，计算才能弱因而不能长期保管；远程数据通常为历史性数据展现、计算剖析，同时云端空间、计算的伸缩性强，因而数据时效性长。
数据的实时性也是数据时效性的一局部，实时性和数据的部署位置，数据的重要性以及传输方式都有关联性。
（2）应用形式
根底应用：监控
经过物联网搜集到设备数据后， 假如设备数据状态超越预设的状态则自动第一时间报警，管理员第一时间展开处置，能够经过远程操作，下达命令。把问题处理在萌芽状态。
进阶应用： 报表统计
经过统计办法， 对设备的历史运转数据停止统计剖析。能够按不同维度剖析出不同报告。然后以图表或者大屏方式展示在管理员面前。管理员能够快速直观的理解到整个物联网设备运转情况。
高级应用： 数据发掘/机器学习
这局部需求从数据里面发掘出有价值的东西出来。比方经过一段时间时间设备数据的连续跟踪剖析并分离人类过往的设备运维经历，经过机器学习方式预测设备发作毛病概率，以及发作毛病后可能的惹起缘由，并给出维修计划。方才举的例子，是物联网高级应用里面的冰山一角。经过引入如今炽热的AI技术。物联网就能变成智能物联网了。或许在不久的未来，人与设备能够自在对话，设备与设备之间也可以对话并自动做出最优决策。
（3）剖析形式
物联网的数据剖析，能够分为如下四个类别：
描绘式剖析(Descriptive)：对采集的物联网数据停止统计和展现，这局部以统计剖析为主；
诊断式剖析(Diagnostic)：分离工业机理，对异常产生的缘由停止诊断剖析，这局部需求参加很多的数据发掘技术，包括相关性剖析、序列事情剖析等；
预测式剖析(Predictive)：经过长期历史数据的开展规律，预测趋向的变化，这局部需求引入包括机器学习、神经网络等技术，对趋向停止预测；
处方式剖析(Prescriptive)：经过多个维度的数据剖析的结果，分离学问库和机器学习，给出多种决策根据的可能，并提供智能的判决支持；
在每个类别里面，又必需从两个层次来展开剖析：
机理剖析：依据物理或化学的原理，对工业设备的控制、过程以及产生的响应停止基于设计原理的专业剖析，这局部一定是以专业学问为根据的；
数据驱动的剖析：关于工业里面很多无法丈量，无法解释的现象，能够经过提取数据特征，从海量的数据中寻觅异常点，经过机器学习的办法，补偿专业学问的缺乏；
能够看到，物联网数据剖析的根底是物理机理，也就是专业学问的理解，而不是数据剖析的办法和才能。没有充沛的物理机理和专业学问，自觉的将一些大数据、人工智能的工具对工业数据停止剖析，一定会适得其反
（4）剖析模型
梯度检查：检查时间序列的梯度，并提供检查结果
线性回归： 计算时间序列数据的线性回归值，并提供所产生的曲线数据
异常检测： 检测异常的时间序列数据，并提供检测结果
趋向预测： 提供单个或多个 1d 时间轴上的微积分功用，详细包括根本的代数和统计学功用（均值、和值、方差）
序列形式发掘： 检测报警形式，并依据（变频器的）事情日志停止毛病预测。该效劳可从招致大型事情的序列中自动地学习相关形式
多维KPI监视：该效劳能够基于锻炼好的模型，从多个方面推断相关量化值。
需求预测： 基于用于时间序列数据的深度神经网络（预先已锻炼）的预测模型执行程序
基于AI的智能服务贯穿云端端架构。在传感终端中，AI技术旨在提高综合感知的灵敏度，准确性和人机交互以及对象交互。通过芯片实时，也简单的逻辑推理。
在边缘，AI技术主要负责收集域中的本地数据和相关业务数据，完成感知数据的分析和推理，并将相关的分析结果或模型传输到感应终端实现感知。终端与边缘云之间的协作，同时，边缘云和边缘云也可以通过网络共享数据，资源，算法等，完成边缘云之间的相互协作。
在云端，不仅需要提供与云计算相关的存储，计算，网络，边缘云等安全资源，还需要收集和整合所有数据，提供基于全局数据的智能服务，包括智能调度，运营和维护，宏观决策等。
云中心专注于全球，非实时，长周期大数据处理和分析，并可在长期维护中发挥优势，商业决策支持等领域。
边缘计算更适合于本地，实时，短周期的数据处理和分析，并且可以更好地支持实时智能决策和本地服务的执行。边缘计算和云中心是互补和协同的。边缘云协作将放大边缘计算和云计算的应用价值：边缘计算接近执行单元，它是云所需的高价值数据的获取和初步处理单元。云支持云应用;相反，通过大数据分析和处理优化输出的云计算的业务规则或模型可以被传递到边缘，并且边缘计算基于新的业务规则或模型。
除了边缘云协作，云互联和云网络融合也成为重要趋势，指的是云中心之间的互联和共享，包括动态调整服务资源，合理分配计算资源和定制。业务互操作性等
2，物联网中的知识地图
上面说人工智能是通过“云端”整体架构，关于物联网中的人工智能和知识地图，我认为有几点：
语义对象＃所谓的语义对象关联是通过语义建模建立一套标准的物联网语义，并具有对象的属性，状态，动作和能力的标准规范，可以实现对象。描述，分析，注册，访问和识别以解决诸如对象是什么，在哪里以及如何使用等问题。
图使能能##;所谓的地图启用是建立一个语义网络，一个类似于知识地图的能力图，实现各种感知数据的融合和文章能力的规范整合，基于对象的描述，做“对象发现”以及对象和功能的集成。
知识规则＃;知识规则和能力图的建立构成了完整的知识地图模型，以完成感知数据和商业数据的整合。建立以业务知识为核心的规则引擎，实时完成简单逻辑的分析和推理。
学习深化
整合全局感知数据，业务数据和互联网数据，基于规则引擎，使用连接主义学习加深思想学习和推理隐藏知识，现有规则引擎完善实现自动学习。
3，物联网数据数据分析
关于物联网数据数据中常见的数据，应用程序，模型和模型，借用互联网上的描述，略有归纳：
我们从新一代架构中描述的数据主要包括物联网数据，业务数据和互联网数据。在这里，我们专注于物联网数据。
＃1;
（1）物联网数据
数据分类
静态数据和动态数据
在数据变化方面，物联网数据可分为静态数据和动态数据静态数据主要是标签类，地址类数据，RFID生成的数据大多是静态数据，静态数据大多存储在结构化的关系数据库中;动态数据是时间序列数据，IoT动态数据特征是每个数据与时间一一对应，这种关系在数据处理中尤为重要。这种数据存储通常存储在时间序列数据库中。
静态数据会随着传感器和控制设备数量的增加而增加;动态数据不仅随着设备数量的增加而增加，传感器的数量也会增加，而且还会随着时间的推移而增加。
无论静态数据还是动态数据，物联网1.0中的数据增长都是线性的，而不是指数级的，但由于物联网动态数据是连续的，因此数据量也很大。因此，物联网1.0数据的压力是可控制的，并不像宣传那样无法控制和无法控制。
能源/资产属性类/诊断类/信号类
就数据的原始特性而言，我们可以将物联网数据分类为能源类数据，资产属性类数据，诊断类数据和信号类数据。
能源数据：指计算能耗所需的能源相关或相关数据，如电流，电压，功率因数，频率，谐波等。能源数据是物联网最关键的数据类型。物联网的最终目标之一是节约能源。获取能源数据，了解能源数据和分析能源数据是实现物联网的基本功能。能量收集设备也是物联网中最重要的设备之一。
资产属性类数据：资产类数据通常是指硬件资产数据，如设备规格，参数和其他属性，设备位置信息，设备从属关系等。基于资产的数据主要用于资产管理。资产管理是工业物联网的一项非常重要的功能，甚至可以作为一个独立的系统进行研究，因为它可以与几乎所有系统（如ERP系统，MES系统和物流）进行交互。
诊断数据：诊断数据是指设备运行期间设备运行状态的数据。有两种类型的诊断数据：一种是设备的操作参数，例如设备的输入/输出值。对于传统的工业自动化数据，即OT技术相关数据;另一种是设备外围诊断数据，如设备表面温度，设备噪声，设备振动等。值得一提的是，外围诊断是体现物联网技术的地方。它包括新的传感器技术和物联网通信技术。外围诊断数据是预测性维护的重要元数据，也是深度控制模型的基础，因此诊断数据是我们需要关注的数据类型。
信号类型数据：信号类型数据或报警类型数据是目前工业领域中最常用的数据，因为它直观，易于理解和关键，同时在本地和远程通知。
类似信号的数据很容易被忽视，但它是物联网所需的数据之一，可以快速收集并为物联网系统提供重要的参考价值。
数据相关性数据之间的相关性是不同数据之间的关系。数据之间的关系对理解整个系统的运行以及数据之间的正确关系具有最直接的影响。梳理是系统有效运作和价值的基石。
数据之间的相关性可以从以下几个方面进行分析：
时间相关性：即数据摄影的同时，数据是由系统同时生成的，它反映了系统的状态这一刻，从数据世界的角度来看，这个系统就是此刻的数据集合。数据摄影反映了系统的静态显示;时间戳是此类数据的关键因素，因此每次数据采集所需的时间戳必须相同。目前许多数据都缺少时间戳，在物联网的实施中也需要解决和解决时间戳。其中一个问题。
流程关联性：即一个点的数据进过一定时间后影响第二个点数据的产生，它表现的是系统动态的流程展现。数据之间的流程关系性需求模型提供，并在施行中停止修正。
数据的时效性
数据的时效性是指数据产生到其被肃清的时间，数据时效性是由系统的施行部署所决议。数据能够被运用屡次也能够被运用一次后就能够被肃清。总体来说远程部署数据还是边缘部署数据影响着数据的时效性，通常边缘部署的数据时效性短，远程数据的时效性长。边缘部署需求的数据通常及时性强，但是边缘存储空间，计算才能弱因而不能长期保管；远程数据通常为历史性数据展现、计算剖析，同时云端空间、计算的伸缩性强，因而数据时效性长。
数据的实时性也是数据时效性的一局部，实时性和数据的部署位置，数据的重要性以及传输方式都有关联性。
（2）应用形式
根底应用：监控
经过物联网搜集到设备数据后， 假如设备数据状态超越预设的状态则自动第一时间报警，管理员第一时间展开处置，能够经过远程操作，下达命令。把问题处理在萌芽状态。
进阶应用： 报表统计
经过统计办法， 对设备的历史运转数据停止统计剖析。能够按不同维度剖析出不同报告。然后以图表或者大屏方式展示在管理员面前。管理员能够快速直观的理解到整个物联网设备运转情况。
高级应用： 数据发掘/机器学习
这局部需求从数据里面发掘出有价值的东西出来。比方经过一段时间时间设备数据的连续跟踪剖析并分离人类过往的设备运维经历，经过机器学习方式预测设备发作毛病概率，以及发作毛病后可能的惹起缘由，并给出维修计划。方才举的例子，是物联网高级应用里面的冰山一角。经过引入如今炽热的AI技术。物联网就能变成智能物联网了。或许在不久的未来，人与设备能够自在对话，设备与设备之间也可以对话并自动做出最优决策。
（3）剖析形式
物联网的数据剖析，能够分为如下四个类别：
描绘式剖析(Descriptive)：对采集的物联网数据停止统计和展现，这局部以统计剖析为主；
诊断式剖析(Diagnostic)：分离工业机理，对异常产生的缘由停止诊断剖析，这局部需求参加很多的数据发掘技术，包括相关性剖析、序列事情剖析等；
预测式剖析(Predictive)：经过长期历史数据的开展规律，预测趋向的变化，这局部需求引入包括机器学习、神经网络等技术，对趋向停止预测；
处方式剖析(Prescriptive)：经过多个维度的数据剖析的结果，分离学问库和机器学习，给出多种决策根据的可能，并提供智能的判决支持；
在每个类别里面，又必需从两个层次来展开剖析：
机理剖析：依据物理或化学的原理，对工业设备的控制、过程以及产生的响应停止基于设计原理的专业剖析，这局部一定是以专业学问为根据的；
数据驱动的剖析：关于工业里面很多无法丈量，无法解释的现象，能够经过提取数据特征，从海量的数据中寻觅异常点，经过机器学习的办法，补偿专业学问的缺乏；
能够看到，物联网数据剖析的根底是物理机理，也就是专业学问的理解，而不是数据剖析的办法和才能。没有充沛的物理机理和专业学问，自觉的将一些大数据、人工智能的工具对工业数据停止剖析，一定会适得其反
（4）剖析模型
梯度检查：检查时间序列的梯度，并提供检查结果
线性回归： 计算时间序列数据的线性回归值，并提供所产生的曲线数据
异常检测： 检测异常的时间序列数据，并提供检测结果
趋向预测： 提供单个或多个 1d 时间轴上的微积分功用，详细包括根本的代数和统计学功用（均值、和值、方差）
序列形式发掘： 检测报警形式，并依据（变频器的）事情日志停止毛病预测。该效劳可从招致大型事情的序列中自动地学习相关形式
多维KPI监视：该效劳能够基于锻炼好的模型，从多个方面推断相关量化值。
需求预测： 基于用于时间序列数据的深度神经网络（预先已锻炼）的预测模型执行程序
