大数据的计量数据采集与应用分析

大数据的计量数据采集与应用分析

贺双双、李莎、冷娇娇、姜迅

国网湖南省电力有限公司益阳供电分公司 湖南 益阳 413000

摘要：随着信息技术和人工智能的不断发展,大数据的计量数采集已经被普遍应用于现代化发展的诸多领域,并在不同的领域取得了显著的成绩。从大数据的计量数据应用出发,进行了计量数据仓库相对独立建设的计量数据采集与应用研究,并且通过与企业数据仓库建立共享接口的方法实现了企业内部数据的有效共享,并以此为基础开展了一系列计量信息服务的应用实践。本文作者分析了大数据的计量数据采集与应用。

关键词：大数据；计量数据；采集；应用

0、引言

大数据经过几年的发展，在中国已经结出了丰硕的果实。国家电网推出的终端智能电表便是一例。智能电表收集数据的目的首先是为收费，但实际上这些数据能够产生巨大的价值。根据用电量数据能够判断房屋空置率，可以指导房价、地价的调控。电网的监控数据结合经济指标可以判断该地区乃至全国工业制造业在不同区域发展的情况。大数据是在对传统的数据库进行数据挖掘的基础上发展而来，但与传统数据库不同的是，它的结构化程度不一样。传统数据的格式结构类型都是统一的，而大数据的格式结构类型千差万别。它采用的技术、工具、方法都跟传统数据库有很大的不同，与之相应地形成了一门新的数据科学———云计算。需要指出的是，大数据和云计算是天然结合的。云计算相当于一个挖掘机，大数据好比一个金矿，没有强大的计算（挖掘）能力，大数据中有价值的部分就不能被挖掘，没有大数据，云计算就相当于杀鸡的牛刀、打蚊子的大炮。

1、计量数据采集系统

计量数据采集系统通过对电力用户的用电信息的采集，并对采集的信息进行处理，同时对整个数据进行实时在线监控，从而更好地分析和管理电力客户的用电行为，尤其是在计量是否异常、电能质量高低的监测方面具有十分重要的效果，而这些功能在促进电网智能化的过程中发挥了巨大的作用。常见的计量数据采集系统一般由三部分组成，一是采集设备；二是通信信道；三是主站。该系统的基本建设目标是要求实现“全覆盖、全采集”，系统建设要求必须覆盖全部电力用户，保证用户用电过程的各类信息全面采集，还需要采集电力用户各时段电能示值、电压、电流、功率、功率因数、剩余电量电费等数据项值，系统对大用户的数据采集要求是每隔15分钟采集一次，居民用户则要求要低一些，至少采集每日日末冻结数据即可，每日采集的数据数量非常巨大。一旦系统建成，就能利用其对用户的电表运行的情况进行分析。

2、大数据的计量数据采集与存储架构设计

开展大数据应用，既是对多年来企业信息化项目建设所形成的信息资源的发掘利用，又是对企业信息化项目的持续改进与完善。通常企业在计量信息化方面会建设有流体能源计量、电力能源计量和物资计量等一系列围绕着计量管理业务的计量信息系统。这些计量信息系统项目都是以满足不同计量类型或不同业务领域的计量工作为目标而开发建设的，为了适应企业管理的综合分析与决策需要，就必须按照一定的主题对这些不同业务系统的数据进行挖掘处理，建设计量数据仓库，从而形成如图1所示的面向大数据的计量数据采集架构体系。

建设面向大数据的计量数据采集架构体系，主要有以下工作内容：（1）现有计量信息系统改造与完善。对现有的计量信息系统改造与完善的主要任务是为数据挖掘准备好“采集接口”，接口的核心内容是各计量信息系统为计量数据挖掘提供计量数据基础模型与访问方法。（2）计量数据仓库建设。首先要确定系统所包含的计量管理及相关的主题域，然后对每个主题域的内容进行描述，描述的内容包括主题域的公共码键、主题域之间的联系和充分代表主题的属性组。（3）计量数据提取工具设计。将各计量信息系统所分散采集的计量数据提取到计量数据仓库需要通过设计一个在数据挖掘领域称为“ETL”的数据提取工具来完成。ETL它是用来实现将数据从各计量信息系统的采集接口经过提取（Extract）、转换（Transform）和加载（Load）至数据仓库的三个基本过程。（4）共享接口设计。为了能够更加充分的利用计量数据，还需要提取EＲP、MES等各类企业信息化系统的数据，通常可以建设一个共享接口来从企业数据仓库提取计量管理所需数据，同时也通过其为企业管理的其他领域提供计量数据。

3、大数据的计量数据采集

3.1数据时间戳检查

从计量数据采集系统现场采集终端中获取数据时，终端已对数据进行了数据发生时刻的标识，在G/DW376.1通信协议中称为“终端抄表时刻”，更为准确的名称应为数据发生时刻。检验数据时刻原本是为了检查终端对抄表失败的处理逻辑，当终端与电能表通信失败时，终端内存中的实时数据区会保留上次成功时刻的数据，但在形成日冻结数据时，常有终端厂商有意或无意地用此数据作为日末冻结值，导致日冻结数据很可能是多天以前的数据。

3.2不能出现空值、零值

电能表对有功电能示值的计量，至少必须有正向有功总电能示值，对于两费率电能表还有峰、谷示值，对于四费率电能表还有尖、峰、平、谷示值。但在数据采集过程中，常会发生数据缺项，例如：有峰谷示值，但缺少总示值等异常情况。检查逻辑分为3个部分：数据记录中“正向有功总”不能为空值（NULL）；有功电能示值中，尖峰有值（不为零或者空）时，峰、平、谷任一无值（空或者零），但允许峰平谷同时无值；有功电能示值峰、平同时有值，而谷为NULL或者平、谷同时有值而峰为NULL。电能表通信规约中，对于多费率表定义了费率1、费率2、费率3……费率14，可以设置多个时段，设置时段与费率的关系。由于参数可设置，不同类型、不同厂商、不同时期、不同供电单位对此均有不同的设置，结果同样的四费率电表，费率1代表的可能是尖，也可能是峰；也可能用费率4来代表尖，这就是费率顺序不同。

3.3电能示值下降

在通过前面几项检查后，同一个记录内的数据间逻辑已检查通过，下面考虑同一只电能表连续几日之间的数据关系。电能示值应该是一直累计增长的一个数值，当日的数值一定不会小于昨日的数值，所以检查逻辑也很简单，仅针对“总电能示值”检查：当D1＜D2且D1＜D3时，D1无效。D1为当日总电能示值，D2为昨日总电能示值，D3为前日总电能示值。这里增加了一个D1＜D3的判定，是为了防止D2突然增长本身无效而导致误判。

3.4电能示值突增

电能表突然异常计量（飞走）或者抄表时突然出现一个奇异的大数值，也是自动化抄表中经常碰到的问题，突然增长量一般不易界定，笔者建议的判定规则是：当D1-D2＞1500时，D1无效；当D1-D2＞300且D2-D3＜10时，D1无效；当D1＜D2且D1＞D3时，D2无效。D1为当日总电能示值，D2为昨日总电能示值，D3为前日总电能示值。

4、大数据的计量数据应用

4.1生产制造

通过计量业务管理中的许可资质，对生产制造企业的场地、人员、生产设备等条件进行把控，跟踪管理厂商在计量装置生产阶段的元器件信息、生产进度等情况，可以实现将计量资产全寿命周期管理的质量管控前移，从源头上把控潜在质量问题的风险点。

4.2超期未检

基于大数据挖掘与分析技术，按照相关的检定规程和技术规范，结合检定数据、设备运行数据、现场检验数据，实现对检定质量问题的实时报警、及时预警，精确定位检定质量问题的成因，及时发现缺陷，为计量器具和计量机构的评价提供依据，指导轮换，提升设备现场运行可靠性，为完善检定能力提供合理化建议。对计量器具和设备的未检判定主要包括：①看计量器具和设备的检测日期、周期检测日期；②证书是否在有效期；③判断检定机构选择的计量标准设备（在本机构的机构资质内包含）是否有检定证书并在有效期内。

4.3报废管理

计量器具和检定设备报废处置在计量全生命周期的末端，缺少过程监控手段。报废管理过程中，审核审批人员能根据计量器具和设备的资产编号等信息，在大数据的资源中检查计量器具和设备的基本信息、重检情况、工作状态、工作年限等，不容易遗漏相关信息，全程掌握报废的实际情况，减少资源浪费现象，影响计量专业管理水平提升。基于大数据的计量资产全生命周期管理基本实现了计量管理业务管控横向协同、纵向贯通，以流程为核心的专业、部门、层级间协同运转。关键业务领域集中管控力度得到加强，实现了对各类计量管理业务的全面监控、执行跟踪、过程掌控、综合考核、闭环管理的目标。总而言之，计量器具和设备的全生命周期管理是一项涉及面广且复杂的系统工程，各个环节有效而科学的管理和运作，才能使计量管理业务达到最优化，使自身的计量管理业务能力及计量器具和设备的寿命得到显著提升。

4.4合规性应用

合规性应用主要指是否超范围开展检验或检定的判定依据，包括对检定证书、定量包装报告、型式试验报告的判定。（1）检定证书。对检定证书的判定主要包括：①判断检定员是否在检定人员数据库中；②检定员证书是否在有效期；③判断该检定员所选计量标准装置（在本机构的机构资质内包含）是否有并在有效期内；④判断社会公用计量标准证书数据库信息：项目（包含新增项目）、地域、有效期是否有效；⑤检定员证书的项目和模板项目（对应的计量器具或检定项目要补充完全）名称是否对应。（2）定量包装检验报告。对定量包装检验只有授权（法定计量技术机构考核证书信息资源库）条件，主要判定内容有：①判断检验人员是否在定量包装检验人员数据库中；②定量包装检验人员证书是否在有效期；③判断法定计量技术机构考核证书信息资源库：有定量包装报告的授权、经确认的商品量检测项目表中包含该项目（4项）、地域、有效期是否有效。（3）型式试验报告。对型式试验报告的判定，主要内容有：①判断评价人员是否在检定人员数据库中（评价人员可能没有资质也允许）；②人员证书有效期是否过期；③判断法定计量技术机构考核证书信息资源库中“经确认的检定项目表”包含型式试验报告的项目，或检验检测机构资质认定中“通过的资质认定项目表”包含型式试验报告的项目。

5、结束语

通过这样的研究与应用不但促进了计量工作本身的不断改进和完善，更是通过计量信息资源的挖掘利用为企业管理的多个领域提供了有效的计量数据服务。

参考文献：

[1]吴宏杰.借助大数据和云计算技术挖掘计量数据增值价值[J].中国计量,2017(12):27-32.

[2]郑培强.基于大数据的计量公共服务平台设计及应用价值研究[J].中国计量,2017(11):33-35.

[3]崔伟群.大数据时代的计量与计量的大数据时代[J].中国计量,2017(09):10-13.