大数据系统和分析技术综述

大数据系统和分析技术综述

周舒静

广东电网有限责任公司惠州供电局广东惠州516001

摘要：随着科学技术的发展，先后出现了大数据系统和分析技术，同时在逐渐的进步和完善。本文就针对大数据系统的内涵进行概述，然后对大数据系统和分析技术面临的挑战和应对策略进行深入探讨。

关键词：大数据；系统；分析；技术

最近几年，大数据在迅猛发展，成为社会各界关注的焦点。那究竟何为大数据，人们仍莫衷一是。若站在微观世界的角度来看，大数据是连接物理世界、信息空间、人类社会的纽带；若站在信息产业的角度来看，大数据是新型信息技术产业高效的催化剂；站在社会经济角度来看，大数据是第二经济的关键产业和核心支持，是推动第二经济快速发展的永久动力。另外，美国政府称大数据是“未来的新石油”，一个国家所能拥有大数据的规模和对大数据处理的能力是衡量国家综合国力的重要指标之一，预计大数据将成为各个国家相互争夺的对象。显然，大数据的时代到来了。面对大数据处理和分析技术方面的机遇和挑战，Google、Facebook等各大互联网企业不断努力和研究，现已开发出多种新型的大数据处理系统，并广泛运用于社会多个领域。本文主要介绍了多种大数据处理方法以及讲述一些具有代表性的处理系统，再指出深入探索、热爱学习、善于计算等对大数据分析技术的重要性，最后总结在大数据处理和分析中所遇到的重大挑战，并对此提出有效的解决措施。

1、大数据分析的内涵

大数据分析是在数据密集型环境下，对数据科学的重新思考和进行新的模式探索的产物。严格来说，大数据更像是一种策略而非技术，其核心理念就是以一种比以往有效得多的方式来管理海量数据并从中提取价值。大数据分析(BigDataAnalytics，BDA)是大数据理念与方法的核心，是指对海量类型多样、增长快速、内容真实的数据(即大数据)进行分析，从中找出可以帮助决策的隐藏模式、未知的相关关系以及其他有用信息的过程。在这一过程中，有两大技术问题非常关键:一个是文本的分析学，另一个就是机器学习。因此，本文认为大数据分析是根据数据生成机制，对数据进行广泛的采集与存储，并对数据进行格式化清洗，以大数据分析模型为依据，在集成化大数据分析平台的支撑下，运用云计算技术调度计算分析资源，最终挖掘出大数据背后的模式或规律的数据分析过程。

2、当前大数据系统及分析技术面临的挑战及应对策略

目前，大数据系统及分析技术在我国多个领域得到了广泛应用，其中包括电信行业、证券行业以及金融行业等，且大数据处理与分析已成为大数据技术中最为重要且关键的应用，企业凭借大数据系统及分析技术可以从海量数据中提取对自身业务发展有利的数据信息，以寻求正确的未来发展方向。但是在实际应用中，大数据系统及分析技术也会面临以下挑战：

2.1由系统复杂性带来的挑战

系统的复杂性主要表现在以下几方面，即计算过程复杂度高、任务周期长、对实时性有着较高要求等。这就要求大数据系统在结构、计算框架以及处理方法等方面都要进一步改进以及优化。与此同时，系统复杂性还对系统的单位效能以及计算效率等提出了更高要求。基于此，为有效应对和处理上述挑战，需要设计一个数据获取速度更快、存储耗能更低且计算效率更加优越的系统，从而紧跟大数据时代发展脚步。

2.2数据复杂性挑战

随着大数据的不断涌现，人们在计算过程中遇到了以往所不曾出现的问题，即大规模样本的出现，这一现象的出现导致人民也面临越来越复杂的数据对象。正如前所述，大数据的重要特征就是数据的类型和模式具有更多的多样性，联系也较为复杂，数据的质量显得良莠不齐，这便造成数据在理解、计算与表达上面临了相当大的困难，传统的全量数据模式下计算的复杂性与难度增大，语义的分析与情感的体会也变得非常复杂。然而，目前人们对于数据中所蕴含的物理意义相对缺乏，加上相关知识的匮乏，这在一定程度上影响了计算机模型的设计与制作。因此，将大数据的复杂本性定量化，有效研究数据所包含的内在问题是当前我们在计算机模型的设计上应该着重解决的重要问题。通过这一问题的有效解决可以在一定程度上帮助人们理解复杂的大数据模型，了解其所具有的本质特征，进而更好的获得抽象化的知识信息。由此可见，我们应该不断完善多模式关联之下的数据分析理论与模型，梳理好各个数据之间存在的内部联系，对复杂的模型系统进行有效的解析，有效降低其原理的复杂程度，使之逐渐转变为大数据的坚实基础。

2.3计算复杂性的挑战

众所周知，大数据具有规模大、速度快、结构多样等特点，这一特点使得以往的机器学习、信息搜索以及数据收集得不到当前大数据的有效支持，尤其是大数据在面对小样本的数据处理时，不能够进行全局式的数据分析与计算，因而需要在计算时适时脱离传统计算的束缚。在进行大数据的求解过程中，要求我们对它的可计算性进行有效的评估，对计算方法进行有效的确认，并对价值驱动在特定领域的应用给予一定支持，这是当前的核心问题。但当前大数据的样本较多、结构较为复杂、分布极不均衡，这在为大数据的研究工作提供了机遇的同时也带来了一定的挑战。因此，应将目光放眼于大数据的生命周期，在大数据自身的复杂性特征的基础之上，对以数据为中心的相关的计算模式进行有效的探究，合理改善守旧得数据计算模式，建立起更为规范化的推送式的数据模式，对大数据的相关理论进行深入研究，摒弃传统计算理念，不断探索充足的数据，按简约的方式研究局部计算的相近办法，建立起牢固的不依赖于全量数据的较为新式的数据计算理论基础。

3、大数据分析未来趋势

1)结合智能计算的大数据分析成为热点，包括大数据与神经计算、深度学习、语义计算以及人工智能其他相关技术结合。得益于以云计算、大数据为代表的计算技术的快速发展，使得信息处理速度和质量大为提高，能快速、并行处理海量数据。2)跨学科领域交叉的数据融合分析与应用将成为今后大数据分析应用发展的重大趋势。由于现有的大数据平台易用性差，而垂直应用行业的数据分析又涉及领域专家知识和领域建模，目前在大数据行业分析应用与通用的大数据技术之间存在很大的鸿沟，缺少相互的交叉融合。因此，迫切需要进行跨学科和跨领域的大数据技术和应用研究，促进和推动大数据在典型和重大行业中的应用和落地，尤其是与物联网、移动互联、云计算、社会计算等热点技术领域相互交叉融合。3)大数据安全和隐私。大数据时代，各网站均不同程度地开放其用户所产生的实时数据，一些监测数据的市场分析机构可通过人们在社交网站中写入的信息、智能手机显示的位置信息等多种数据组合进行分析挖掘。然而，大数据时代的数据分析不能保证个人信息不被其他组织非法使用，用户隐私安全问题的解决迫在眉睫。安全智能更加强调将过去分散的安全信息进行集成与关联，独立的分析方法和工具进行整合形成交互，最终实现智能化的安全分析与决策。4)各种可视化技术和工具提升大数据分析。进行分析之前，需要对数据进行探索式地考查。在此过程中，可视化将发挥很大的作用。对大数据进行分析以后，为了方便用户理解结果，也需要把结果展示出来。尤其是可视化移动数据分析工具，能追踪用户行为，让应用开发者得以从用户角度评估自己的产品，通过观察用户与一款应用的互动方式，开发者将能理解用户为何执行某些特定行为，从而为自己完善和改进应用提供依据。

4、结语

综上所述，在云计算、物联网飞速发展的今天，大数据也成为人们热议的话题。我们已进入到大数据时代，为了紧跟时代发展脚步，需要通过不断摸索、研究以及学习，勇于创新及应对挑战，不断改进以及优化大数据系统及分析技术，积极应对大数据系统及分析技术面临的挑战，从而充分发挥其在各领域中的积极作用。

参考文献

[1]吴卉男.大数据系统和分析技术综述[J].信息记录材料，2016，17（3）：2~4.

[2]邹金萍，谢晓东.大数据系统和相关技术分析[J].电子世界，2014（24）：5.