数据驱动的水务信息资源共享交换平台设计

数据驱动的水务信息资源共享交换平台设计

李金锋

深圳市水务学会      广东.深圳 518036

摘要：在大数据技术框架指导下，设计基于数据驱动的水务信息资源共享交换平台框架，由大数据中心共享数据库、水务信息资源共享与交换平台、安全体系和交换技术规范构成。可完成对各种数据的收集、管理、数据交换，构建水务标准化的信息资源目录体系，建立数据驱动的信息资源多渠道采集、发布、申请、授权机制。将市级相关部门，如市气象局、给排水公司、水务局系统内的相关机构服务体系等，各区级水务局、水务物联网系统等的源端数据进行接入，实现了异构多源、分散多元的各种水务信息的收集汇总，为水务智慧应用提供从水情感知、到调度决策和效果跟踪评估多方联动的数据驱动服务奠定了基础。

关键词：水务信息；资源共享；数据驱动；资源目录

0引言

随着电子政务的推进，水务行业将是大数据形成与运用的关键行业之一，成为国家大数据开发的重要支撑与组成部分，在全国经济与社区构建中起到举足轻重的地位。近年来，深圳市水务局秉承“以信息化带动现代化”“信息化工程建设密切服务水务管理中心工作”的方针，建立公共服务信息化技术网络平台，推进一批与工程相配套的互联网信息化技术项目，水务基础设施、业务应用系统等领域信息化方面也得到蓬勃发展，为深圳市水务信息系统从数字水务向智慧水务的转型打下了良好基础，也对水务工作的开展起到了重要的支撑作用[1-3]。

在前期数字水务、三防决策保障、国家水资源综合监督管理、电子政务、第一次全国水利普查等重大项目或专项的支持下，各类日常服务管理工作，形成并累积了海量的数据，包括规划、水文水资源、水利工程管理、水安全、水务行政执法和各类统计资料。这些数据经年累积、来源众多、类型复杂，具有明显的大数据特点，即数据种类多、变化快、体量大、准确性差、单个数据价值低，对这些数据进行分析应用，对深圳市各级水务行政管理机关的发展计划、重大工程建设、监督管理工作，以及解决人民群众对水资源日益增长的要求有着巨大的实用价值。

基于数据驱动的水务信息资源共享交换平台系统，引入大数据组织管理和分析应用技术，能够提升数据共享技术的按需服务能力，整合实现对总量庞大、来源分散、格式复杂多变的数据的收集、保存和关联分析[4]。本文给出的数据驱动的水务信息资源共享交换平台设计，充分考虑水务行业的数据分布和使用特点，既包括源端数据的接入，也负责向其他外部单位提供交换共享服务，管理的数据类别分为结构化、非结构化和混合类别等，格式则分为数据库、消息数据、文件、xml和json等。水务信息资源共享交换平台由大数据中心共享数据库、水务信息资源共享与交换平台、安全体系和交换技术规范构成，支持对各种数据的收集、管理、数据交换，建立数据驱动的多源信息采集、发布、申请与授权等机制[5]，应对面向主题和事件的多方数据联动和复杂关联认知。

1、总体架构

基于数据驱动的水务信息资源共享交换平台系统，支撑对各种数据的收集、管理、数据交换，根据支撑的类别分为结构化、非结构化和混合类别等数据，格式则分为数据库、消息数据、文件、xml和json等。水务信息资源共享交换平台既负责源端数据的接入，也负责将水务大数据中心的各类资源向其他外部单位的共享交换，由大数据中心共享数据库、水务信息资源共享与交换平台、安全体系和交换技术规范构成，水务信息资源共享交换平台架构分析如下：

1）数据交换与服务调用。通过数据交换与服务调用，实现数据收集汇总、资源共享与服务调度，由数据交换总控、交换网关、服务总线，以及服务调用生成和异构数据桥接软件五大部分构成。数据交换总控与服务总线，主要部署在水务大数据中心；交换网关业务，主要部署在各IT子系统，并通过互联网传输技术形成一个健壮的大数据网络；异构数据桥接软件，主要实现各大IT系统和数据交换网关系统业务间的大数据桥接，以避免数据接口的开发。通过数据服务总线进行信息资源服务共享调度的统一治理。

2）信息资源共享目录。信息资源共享目录主要进行公共信息的编目与管理。利用统一的信息资源目录系统，建立涵盖市、区（县）、部门下属单位的多级信息资源目录体系。并通过对元数据共享中信息资源特征的研究，逐步建立统一标准的信息资源目录内容，通过对目录内容的有效统一与处理，实现全市区域内水务信息资源的广泛信息资源共享，便于使用者识别、定位与获取各类信息资料，保障政府部门的信息监督、社会管理和公共服务。

3）水务大数据中心专题数据库。根据不同的业务专题和应用需要，构建水资源、水安全、水环境、水建设、水事务等专题数据库。

4）水务信息资源共享交换平台的建设，为市、区水务局及街道水务管理部门等水行政主管单位提供“水安全、水资源、水环境、水生态、水建设和水事务”六水一体信息服务；为发展与改革委员会、统计局、住房和建设局、城市管理局、气象局、生态环境局、规划和自然资源局、经济贸易和信息化委员会、交通运输委员会等涉水相关部门，提供水文、地图、管线等数据更新服务，共享及推送重要信息；为企事业单位，提供取用水、取水水质、自身排水水质状况和相关的排放标准政策规定及用水等信息；为社会普通公众，提供深圳市水务的基本情况、水安全、水环境、水生态及其政策，法规，标准，规范等相关信息，以及水库大坝安全、城市内涝、河道水系现状（特别是黑臭水体的整治进展）及投诉处理结果等相关情况。

2、技术分析

水务信息资源共享交换平台的建设遵循集约化模式，采用SOA/WOA和OSGI架构及服务应用虚拟化等相关技术。

2.1SOA/WOA和OSGI架构技术

分布式结构被视为代表着面向对象服务结构（SOA）的未来趋势。OSGI（Open Service Gateway Initiative）致力于把单个服务作为最小单元,通过提供实用的软件架构来支持SOA的功能，创造出一种微内核的方式，实现对模板的可插拔，同时也为模板定义出一种更清晰的物理形式，从而提高模板设计和复用时的准确性。

2.2服务应用虚拟化技术

应用程序通常运行于本地使用的虚拟化环境中[8]，数据交换网关提供服务器层级的虚拟化，实现原有整机硬件功能向软件功能的转换，即交换环境、环节服务虚拟化，扩充交换网关的数量配置瓶颈。

水务信息资源共享交换平台使用了PaaS服务模型，按需求进行虚拟化与多领域多用户的数据交换。1个服务领域对应1个用户，用户都拥有1个虚拟化的交互和数据共享工作环境；终端用户和用户之间，彼此隔绝，互不影响。因此所有虚拟化交换环境都包含前置数据交换、数据交换传送通道和传输网络的虚拟化。

3、核心功能与应用分析

依据国家、省市出台的技术标准，并根据水务信息资源共享交换平台的主要功能，充分整合水务数据现状，对水务与公共信息资料数据交换共用的技术进行初步设计，以实现包括数据共享交换机制、共用数据管理、共建数据交换节点、共同数据管理存储应用和数据安全管理等标准的建立。

3.1  数据交换与服务调用

3.1.1  数据交换技术架构

数据交换技术架构分析如下：

1）异构数据桥接，实现部门异构应用系统和数据交换网关间的数据获取、转移与传递；

2）数据交换网关，在数据交换总控的管理下实现定向点到点的交换传输；

3）数据交换总控，实现对各个交换节点的统一配置、部署、管理和监控。

3.1.2  服务调用技术架构

服务调度技术架构采用服务总线、目录、生成器软件（数据交换网关中内置服务生产器），满足不同领域、各种规模的业务调用要求。通过服务调度构建一个广域的 SOA 服务调度中心，经过授权的各种业务应用均可透明地请求服务总线设备上的 REST 服务，由服务总线设备再去调度相应的真实服务，以达到跨部门应用关联和实时互动。

服务调用技术架构具体分析如下：

1）由服务生成器（或网关）将需要推送的异构应用中的数据资源或协同操作信息，打包成服务发布到服务总线上；

2）资源目录对各类服务进行编目管理、定位、检索和访问控制；

3）服务总线对各种业务信息进行代理发布，并通过用户服务请求系统进行服务调用；

4）业务数据顶层应用采用“1 + 3 + 8 + N”模式构建分层智慧应用体系，相关内容如下：

a.1个中心。1个中心指包含全景透视、态势分析、异常预警、智能决策、指令畅达等功能在内的综合智慧决策中心。

b.3类服务。包含专题业务、政务服务和工程管理3类服务。

c.8大管理平台。包含灾害防御管理（防洪统一调度、智能在线指挥等）、水资源管理（供需智能预测、综合智慧管理等）、水环境管理（智能污染溯源、治理成效分析等）、水生态管理（河湖长效管理、海绵城市管理等）、工程运行管理（流域综合调度、运行全面监管等）、工程建设管理（全程精准监管、BIM智能分析等）、行政服务管理（执法上下联动、线上智能审批等）、政务内控管理等（行政事务管理、人事财务管理等）等8个管理平台。

d.N个智慧应用系统。包含灾害防御行业管理、供水行业管理、水务工程建设监管、安全监督管理、执法监督管理、水土保持管理、海绵城市管理、行政审批管理、人事综合管理等应用系统。

水务信息资源共享交换平台兼顾数据交换和服务调用两方面功能，既可完成大数据感知、获取、交换、传递、发布的大数据功能，也可实现业务生成、服务目录管理、业务调度等功能。平台将面向不同的应用系统，提供共享信息和服务合作等全方位功能。平台的数据交换功能实现广域数据的汇聚，避免数据交换接口的开发。平台的服务调用功能主要将信息资源以REST服务的形式共享给数据关联使用方，并有严格的授权体系。

3.2  平台场景应用

水务信息资源共享交换平台的应用场景，侧重介绍水务局内部、与市直机关和省市其它单位的数据交换方式。

3.2.1  水务局内部数据共享交换

由于水务局内部基本上网络互通，数据共享交换可以采用库表对接的方式进行。对接流程如下：

1）数据交换申请方向市水务科技信息中心（以下简称“科信中心”）申请，提交申请表格，说明需要获取或提交的数据业务类型、数据格式、交换频率等；

2）数据共享交换实施方接到科信中心书面通知后，通过共享交换平台将数据交换至市水务局前置机数据库（包含前置机数据库表结构建立、用户和表空间划分等）；

3）如有需要，将前置机数据交换至水务局中心数据库；

4）实施方工作完成后，将数据交换结果通知科信中心和数据交换申请方。

3.2.2  与市直机关用户数据共享交换

市直机关数据共享交换主要通过市政务信息资源共享平台进行。市水务局与市政务信息资源共享平台网络互通，可以采用库表对接的方式进行数据交换。对接流程如下：

1）数据交换申请方首先在市政务信息资源共享平台查询，如所需数据不在已有的数据资源共享目录中，需向数据提供方申请共享编目，通过审核后方能进行共享交换操作；

2）数据交换申请方向科信中心申请，提交申请表格，说明需要获取或提交的数据业务类型、数据格式、交换频率等；

3）数据共享交换实施方接到科信中心书面通知后，通过市水务局共享交换平台，将数据交换至市水务局前置机数据库；

4）如有需要，将前置机数据交换至市水务局中心数据库；

5）实施方工作完成后，将数据交换结果通知科信中心和数据交换申请方。

3.2.3  与省市其他单位用户数据共享交换

1）数据交换申请方向科信中心申请，提交申请表格，说明需要获取或提交的数据业务类型、数据格式、交换频率等；

2）因省市其他单位用户网络环境不同，根据实际的网络情况和数据交换要求，可以灵活采用库表和服务接口2种对接方式进行数据交换；

3）实施方工作完成后，交换过程中的接口和数据需交由科信中心登记备案和监管。

水务信息资源共享交换平台自投入使用以来，已累计共享交换16个机关单位、8个内设处室及下属单位业务数据，包含气象局、电子政务资源中心、水务集团、各区水务局和给排水公司等共计3.6亿余条数据，数据订阅专项服务27项,取得了良好的社会和经济效益。

4、结束语

水务信息资源共享交换平台不但在技术层面解决了异构信息孤岛的互联互通问题，而且在场景应用方面可对市级各单位、区水务局、给排水公司、水务局属各单位业务系统和水务物联网平台等进行对接，实现对异构多源、分散多元的各种水务数据的收集汇总。通过该平台，建立了水务标准化的信息资源共享目录体系，以及市信息资源多渠道收集、发布、审批、授权的体系，必将在后续智慧水务的提档升级中发挥作用，为更多更广泛的部门和领域提供相关的技术支撑，同时也为水务大数据分析应用提供重要数据环境支撑。

参考文献：

[1] 王晓辉，殷峻暹. 深圳市智慧水务建设总体框架研究[J]. 水利水电技术，2019，50（增刊1）：192-196.

[2] 深圳市水务规划设计院有限公司. 深圳市水务信息化发展规划（2015—2020年）[EB/OL].[2022]. https://www.doc88.com/p-1048982652660.html.

[3]王菲，施晔，王春玲. “十四五”水利信息化建设提升水安全保障能力的思路与策略研究——以粤港澳大湾区为例[G]// 2021年（第九届）中国水利信息化技术论坛论文集.南京：河海大学，2021：495-502.

[4] 水利部信息化工作领导小组办公室，水利部水利信息中心. 水利信息化资源整合共享顶层设计[EB/OL].[2022-06-15]. https://jz.docin.com/p-1937999454.html.

[5] 王云鹏，戢琨，黄少敏，等．智慧江汉平台的建设思路与思考 [J]．水利信息化，2021(6)：16-21．