电力调度SCADA系统中历史数据压缩及存储策略分析

电力调度SCADA系统中历史数据压缩及存储策略分析

黄丽

(南方电网公司广西电网有限责任公司河池供电局广西壮族自治区547000)

摘要：电网自动化水平不断提高，对于电力调度SCADA系统提出了更高的要求，电力SCADA系统要具备高效的数据压缩和储存能力，满足系统使用需求。基于此，本文首先分析了电力调度SCADA系统，其次研究了历史数据压缩及压缩算法，最后提出了压缩数据的存储策略，从数据采样特点出发提出更高效准确的储存策略。采取高效压缩策略，减少数据储存空间，保证系统运行功能。

关键词：电力调度SCADA系统；历史数据；数据压缩；存储策略

引言：电力调度SCADA系统是负责采集电力数据的核心系统，对于电网稳定运行有着重要影响。数据被采集后需要经过压缩，才能储存在系统中，让系统适应海量数据要求。如今电力工程逐渐扩大建设范围，越来越多的电力工程被建设，电力调度系统面临着巨大挑战。因此研究数据压缩策略对于维护电力调度系统的运行具有重大价值。

1.电力调度SCADA系统

电力调度SCADA系统用于采集电力数据并监控电力系统，计算机是自动监控系统的基础，在电力、燃气、化工等领域广泛使用。SCADA系统包括硬件系统和软件系统两部分，可以对数据实时处理和运算。硬件设备使用点点连接方式，还有硬件设备使用总线得到连接。SCADA系统软件包括多个功能模块，不同功能模块有着特定功能，采集数据需要由单个或者多个服务器完成采集工作。压缩数据常使用有损压缩的方法，主要可以分成矢量量化、变换信号以及分段线性法三种。分段线性法是最简单的方法，适合用于压缩数据。随着电网建设项目逐渐增多，电网自动化水平逐渐升高，数据采集量越来越大，海量数据给电网系统造成巨大的负担，需要通过有效数据压缩技术，减少数据量，提高数据的使用率。压缩数据使用合理存储策略可以减少数据存储空间，提高数据的查询效率。目前电网智能化水平越来越高，必须要配备更加智能和自动化的SCADA系统，满足电力调度的实际需要，要研究更高效的数据压缩技术，减少数据存储空间，保证SCADA得到稳定运行。

2.电力调度SCADA系统中历史数据压缩

2.1数据压缩

数据压缩是指使用一定方法对数据进行重新组织，使用全新的方法进行数据的表示，对于原始数据使用更少的代码进行表示，让冗余明显减少，节约大量的储存空间，更提高了传输处理的速度。压缩数据要根据数据特征，无论哪一种数据都存在冗余信息。在具体信息中，部分字符会多次出现，出现频率多于其他字符。符号出现位置可以经过预测得到，冗余数据可利用编码形式过滤。数据之间存在关联性，如图片色彩均匀，声音信号也能够发现一定规律。发现数据关联性可以使用转换方式将不同数据实现相互转换。数据压缩在保证数据质量基础上进行压缩，也可分成无损压缩技术和有损压缩技术。

2.2实时数据库特点

实时历史数据库主要存在三个特点：（1）自动维护，系统储存采集数据随着时间推移，数据库内容不断增加，但是由于历史库是有限空间，还需要确定哪些数据要得到储存，哪一个时间段要得到存储，丢弃不需要的数据。（2）存储介质，由于数据库中的数据是根据一定规则在计算机中保存，计算机读取数据的速度高于磁盘读写的速度，系统访问数据速度更快。受到挥发性和存储容量的约束，计算机内部不能储存大量数据。电力调度系统将磁盘和内存结合起来，按照时间单位划分数据库，内存每个单位都需要设置记录，记录采集的数据，数据记录没有多余空间时要对磁盘进行压缩，从而实现数据的处理，满足数据的储存要求。（3）周期性，电力调度系统要实时采集数据，在数据库中储存数据，储存过程是自动完成的，且不会受到事件和人员的限制，在储存周期上呈现出周期性的特征。（4）访问关键字，由于数据标记时间等关键字，系统可以自动标记关键字，数据库能够实现历史数据检索，完成数据量在特定时刻的访问。

2.3压缩算法

压缩算法根据平行四边形结构确定关键数据，将不是关键数据的部分丢弃，实现压缩数据的目的。电力系统运行期间会产生大量不相关信息和冗余，将冗余信息剔除掉，保留特征信息，实现数据压缩的效果。压缩算法对于特定数据允许误差，找出直线趋势，算法核心在于通过终点和起点确定直线和替代数据，对起点和终点进行记录。这种方法简单快速的实现数据压缩。但是也存在一定弊端，发现首个关键数据后，进行一周期压缩，但是后面可能还存在关键数据。这种方法属于线性拟合算法，优势在于速度快，对于给定数据压缩精度，可以发现最长直线趋势，压缩偏移根据实际情况设定，和算法本身没有太大关系。偏移量过大，会造成数据误差过大导致失真。增大压缩数据量会降低压缩比，还需要对算法进行改良，提出合适的压缩策略，才能自动调整偏移量。

3.电力调度SCADA系统中历史压缩数据的存储策略

3.1电力调度数据采样特点

电力调度系统采样数据具有以下特点：（1）采样点多，由于电力调度数量级庞大，需要深入监控电力设备性能，采集点数量可以达到几万，甚至数十万。（2）采集频率高，为了能够快速掌握电力设备运行状态，数据监控有着较高的采样频率，每间隔几秒就会进行采样工作。（3）数据爆发式存储，由于采样点数量众多，采样点使用动态采集的方法，数据出现实时变化，才会进行一次采集，由此存在数据爆发存储的可能。（4）数据的变化频率较低，对于指定采样点，数据不会出现过多变化，采样点存在长时间无变化的情况。（5）数据查询的效率较低，采样点监控的数据量大，查询效率较低。

3.2储存策略

根据数据特点，系统可以使用实时数据库、磁盘文件库以及历史数据库三个级别的储存体系展开压缩数据的存储。实时数据库用来储存断面数据和曲面数据，使用历史数据库查询采样数据和监控数据，由于历史数据数量庞大，造成历史数据库的性能出现明显的降低。电力调度系统使用数据库的动态归档技术。数据归档服务需要对历史数据库中非活动数据进行识别，根据一定策略向存储设备进行转移，电力调度系统可以提供数据访问。数据处理模块采集数据后，将断面数据在实时库中更新，依照相应算法压缩数据，同时数据经过总线提供服务，数据被压缩后在历史数据库中保存。数据库归档服务可以准确识别非活动数据，向设备中转移。人机请求查询数据，曲线服务向将数据库压缩数据进行解压处理，将数据传送给人机。

结论：综上所述，本文基于分析电力调度SCADA系统的作用，研究系统历史数据压缩技术，实时数据库具有自动维护、存储介质、周期性的特点，数据按照一定压缩算法得到储存。后提出压缩数据的存储策略，系统数据采样特点具有采样点多、采集频率高、爆发式存储、变化频率较低、查询的效率较低的特点，据此提出使用平行四边形结构储存的策略，结合实时数据库、历史数据库以及磁盘文件，形成三级储存模式。

参考文献：

[1]徐小光,凌云頔.电力调度智能化系统的集成优化策略研究[J].科技经济导刊,2018,26(33):32.

[2]李琳,李淼,王志宏,等.电力调度自动化系统中数据挖掘技术运用分析[J].山东工业技术,2018(21):163.