大数据技术在住房保障信息系统中的应用

大数据技术在住房保障信息系统中的应用

梁琪

南宁市房产信息管理服务中心 广西南宁 530022

摘要：一直以来，住房保障问题都是社会普遍关注的重点和热点，如何保障中低收入家庭的住房问题成为当前的重要研究课题。随着大数据技术的推广，其被成功应用于生产生活的各个领域。通过大数据技术采集和存储涉及住房保障的相关数据，通过大数据分析技术，可以精准识别需要提供保障性住房的家庭，在住房保障业务审核过程中提高工作效率, 优化保障房分配流程，实现住房保障资格的动态监管，提升住房保障服务质量。

关键词：大数据；住房保障信息系统；Hadoop

1大数据技术简介

随着信息化技术的广泛应用，人们在生产生活中产生的信息数据正以几何级数快速爆发，2008年9月《Nature》杂志推出“Big data”专栏后，大数据（Big data）一词开始成为信息化领域的流行词汇^[1]。大数据指的是海量、高增长率和多样化的数据。大数据技术指的是在对大数据进行采集、存储、分析和应用过程中使用的信息化技术。

大数据的特点主要是：多样化、海量、实时性以及持续性。（1）数据多样化，数据有多种类型，可以是结构化数据，也可以是图片、文字或者音频等非结构化数据，进而形成大数据的多样化特点。（2）数据的海量特点，在互联网世界中，信息的数量是十分巨大的，而且每时每刻都有新的信息出现，数据规模十分庞大，形成了大数据的海量特点。（3）数据的实时性，大数据不仅要收纳并处理大量数据，同时对数据的分析处理速度还要足够快速，这样才能够提供真正有价值的信息。（4）数据的持续性，信息数据随时随地都会产生，大数据就是由持续不断的海量数据形成的。

大数据的采集、存储、分析和应用形成了大数据的核心技术栈，每个环节都有不同的信息化工具和技术。大数据技术栈如图1所示。

图1 大数据技术栈

（1）大数据采集包括结构化数据和非结构化数据采集，对于结构化数据可以使用ETL、Kettle等数据转化工具进行采集，非结构化数据可以使用网络爬虫、SAS公司的Data Flux等工具进行采集，也可以使用的Flume、Fluentd、Logstash等开源或商业数据采集平台。

（2）大数据存储包括结构化数据和非结构化数据存储，为了便于分析和应用，通常对非结构化数据也要存储结构化的索引。常用的存储方式包括关系数据库、云存储、文件系统、XML文档、分布式文件系统HDFS等。

（3）大数据分析通常用到人工智能、云计算等技术，传统的数据分析可以基于数据库的SQL语句、数据挖掘等技术，也可以使用商业化的行业数据分析工具，如思迈特的SmartBI、SPLK公司的Splunk、美林公司的Tempo等数据分析平台，还可以由开发人员根据特定需求定制开发数据分析工具。

（4）大数据应用主要是将大数据分析结果进行展示、共享或应用到相关信息系统中，使其发挥最大价值，常见的应用包括Web应用、移动端应用、数据报表和可共享的结构化数据集等。

2 住房保障信息系统数据需求分析

住房保障指的是给城市中低收入无房家庭提供廉租住房、公共租赁住房、经济适用住房和限价商品住房等保障性住房。住房保障工作主要包括识别需要保障性住房的家庭、审核保障家庭的准入资格、保障性住房分配和住房保障资格的动态监管。住房保障信息系统是住房保障审核和管理部门用于完成住房保障相关工作的信息化系统^[2]。

住房保障领域涉及的政府部门比较多，主要包括房管、公安、民政、税务、工商和人社等部门。整合各部门的信息数据对于住房保障信息系统的建设和住房保障工作的开展有着重要作用：

（1）精准识别保障户。通过采集公安部门的常住人口、流动人口数据，人社部门的外来务工人员、新就业毕业生数据，作为城市居民的基础数据，结合房管部门的住房数据、人社部门的社保和工资数据、税务部门的税收数据，可以通过大数据分析识别出需要提供住房保障的中低收入无房家庭，提醒其主动申请，提高目标群体针对性，促进应保尽保。

（2）提升住房保障资格审核工作效率。群众提交住房保障申请后，审核部门需要核查家庭成员信息、婚姻信息、住房信息、收入信息等，通过采集各部门数据形成大数据信息库，可以在住房保障资格审核工作进行自动比对，提升工作效率的同时，也避免群众到各部门开具证明。

（3）优化保障房分配流程。大部分保障家庭都希望分配的保障性住房靠近工作地点，通过采集工商部门、人社部门的数据，结合家庭成员信息，通过大数据分析可以给保障家庭推荐靠近工作地点的保障性住房，从而提高保障房分配的服务水平。

（4）实现住房保障资格的动态监管。对于廉租住房、公共租赁住房的保障户，需要对保障家庭的住房和收入信息进行动态监管，如果不再符合住房保障资格，则应将其腾退出保障性住房。通过大数据的采集、分析和实时比对，可以有效地实现住房保障资格的动态监管。

3 大数据技术在住房保障信息系统中的应用

长期以来，住房保障相关数据由各个部门收集和掌握，由于数据分散、标准不一、信息分离以及数据关联度较差等问题，大量住房保障数据资源未被激活，数据作用未充分发挥，住房保障信息系统未能完全发挥智能化作用^[3]。大数据技术能很好地解决保障房决策和管理所需要的海量数据支持。通过大数据技术关联和整合各层级、各部门的数据，建立高效、规范、科学的住房保障管理系统，实现住房保障与房管、公安、民政、税务、工商和人社等数据平台互联互通，打破实现住房保障所有数据间的信息孤岛，实现跨部门、跨系统、跨层级数据深度融合，提升住房保障工作效率。

Hadoop框架是当前流行的对大数据进行分布式处理的软件框架，结合住房保障信息系统的数据需求，基于大数据技术栈的住房保障信息大数据分析系统框架如图2所示。

图2 住房保障信息大数据分析系统框架

（1）大数据采集。住房保障领域涉及的政府部门数据以结构化数据为主，所以数据采集主要使用Hadoop的Sqoop组件和ETL工具。Sqoop组件可以将结构化数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系数据库中，这样可以使数据源、Hadoop框架和住房保障信息系统之间形成数据无缝衔接。

（2）大数据存储。HBase是Hadoop框架自带的分布式数据库组件，HBase中的所有数据文件都存储在HDFS文件系统上，可以分布式存储和处理PB级的海量数据，满足住房保障领域相关数据的存储需求。

（3）大数据分析。MapReduce在Hadoop框架中主要负责处理大数据，Mapper将大数据处理任务分解为可以并行处理的小任务；Reducer负责将处理结果进行汇总。大数据分析是大数据技术在住房保障信息系统中应用的重要环节，只有通过大数据分析才能为住房保障工作提供有力的技术支撑，要分析各部门的海量数据，解决资源调度、分布式处理、并行队列管理是其中的技术难点。Hadoop框架的Yarn和ZooKeeper就是解决上述问题最适合的组件，Yarn组件提供了统一的资源管理和调度，ZooKeeper组件提供了性能高效、功能稳定的分布式应用程序协调服务，而且他们都是Hadoop和HBase的重要组件。

（4）大数据应用。在Hadoop框架下，大数据分析的结果可以通过多种方式提供给住房保障信息系统使用：①接口方式，住房保障信息系统调用大数据分析接口获取需要的结果，应用场景是通过接口传递住房保障申请人信息，大数据分析后，反馈是否符合住房保障资格、适合在哪个区域分配保障性住房等信息。②数据报表方式，住房保障信息系统直接展示大数据分析结果报表，应用场景是展示保障户分布情况、保障性住房分布情况，用于保障房小区选址的上层决策。③结构化数据集方式，住房保障信息系统可以获取大数据分析结果数据集，数据集可以保存到系统数据库，也可以生成电子表格，应用场景是批量获取某个城区或某个企业符合住房保障资格的人群。

4 结语

综上所述，在住房保障信息系统中应用大数据技术是十分有必要的，它不但能够协助有关部门进行工作，还能够切实保障中低收入家庭保障户的权益，切实维护了社会秩序，使得政府机关对于住房保障工作的监控得以加强。同时，将大数据技术应用在住房保障信息系统之中，使得系统在实际应用中能够更好地进行数据分析任务，冲破了监管方面的障碍，使得住房保障的环境趋向良好。大数据技术在住房保障信息系统中的应用还可以为其他电子政务系统提供参考，引导它们使用大数据技术，进而提高系统的整体性能，更好地满足提升服务质量。

参考文献

[1]梁吉业,冯晨娇,宋鹏.大数据相关分析综述[J].计算机学报,2016,1:1-18..

[2]宫磊.大数据技术驱动的农村转移人口住房保障模式构建研究[D].山东建筑大学,2019.

[3]陈洲博.大数据时代绿色住房保障模式初探[J].中华建设,2016(04):70-71.