领域大数据应用开发与运行平台技术分析

领域大数据应用开发与运行平台技术分析

刘秋雨

宜科（天津）电子有限公司 天津 西青 300380

摘要：伴随着当前大数据技术高速发展，对于大数据应用系统开发与运行平台的开发工作也取得了重大突破，极大的降低了大数据技术推广的门槛，使得大数据技术能够得以被更多的行业领域所应用。但同时考虑到大数据天然存在的多样性、复杂性与动态性特征，目前还确立出系统化的大数据软件开发体系，在具体的领域应用方面还有待开展进一步的研究工作。对此，本文将重点针对领域大数据应用开发与运行平台技术展开相关的研究工作。

关键词：大数据；开发；运行平台技术

要对数据展开计算处理，必然离不开软件系统的支持，无论是在数据的搜集、存储、处理还是实践应用等方面都要用到软件。尤其是在当前的大数据时代背景下，数据处理各环节可供选择的软件工具多种多样，因此，这也对于面向领域的大数据应用系统建立、运行、优化工作均产生了巨大挑战。本文对目前大数据维护管理成本高昂、软件构件选型配置困难等问题，提出了研发大数据应用系统开发与运行一体化平台，以期能够为降低大数据应用开发及后期运维成本提供一些参考。

1领域大数据应用开发与运行平台内容概述

从根本上来讲，领域大数据应用开发与运行平台是全面向用户开放的，这就需要有针对性的结合不同用户的具体情况和个性化需求，有效区别不同用户之间的集群，同时结合具体情况，配备与之相对应的更方便快捷的相关功能，能够更有效，更及时的进行增、删、改、查等操作。因此，对于这样的情况而言，用户模块是集成设计开发环境中至关重要的组成部分，结合实际的需求，有效控制用户模块。如果是新用户，要注册一个属于自己的独一无二的账号，系统要进行有效的确认，进一步明确账号的唯一性之后，从根本上有效确保每个用户自身都具备与之相对应的系统空间，这样能够让所部署的大数据系统间，形成互相隔离、各不影响的状态，而用户自身的需求描述中要准确传达出大数据应用系统中相关的业务和资源，它所涉及的范围可以从根本上更全面更深入的覆盖典型大数据在应用系统构建过程中所需要的一系列功能性需求以及非功能性需求指标针对操作环境而言，在有效定义好某一特定类型资源需求的过程中，同时可以更加有效的支持多种类型资源配套需求的表达。对于操作对象而言，就可以进一步有效明确定义输入数据输出数据的概念，也切实有效的利于表达出中间临时数据。针对操作步骤角度而言，开发者能够比较直截了当的准确表达出需要各类软硬件资源、领域知识、配置参数和性能指标等相关方面的具体内容，同时也能够在抽象或者比较模糊的含义上表达出需要上述资源。针对操作流程而言，既可以进行操作步骤间比较常规的顺序或者同步进行，也可以有效进行循环或者并行等比较高级控制领域内的结构。

2大数据领域需求描述

有针对性的通过相关的实践和实验论证，进一步结合探索经验，笔者有针对性的把大数据应用需求进行深入细致的划分，并通过具体的论证和研讨，在需求描述方面提出了26项需求指标，这些指标中包括具体的需求类型、大数据的主要类型、业务操作过程中所涉及的流程、相关主要性能的重要指标等一系列相关方面的内容，在所有的需求描述中和选型有巨大关联性的因素包括14个指标，例如存储类型、数据类型等一系列相关方面的内容。以上文所述的相关需求指标作为基础，并结合具体的实际情况构建起相应的大数据构件选型方机制，与此同时，针对所有需求中的储存、计算和分析这三方面的需求，再分门别类的设置相对应的决策树。在这些需求描述被充分满足的时候，有针对性的结合具体情况选用C5.0算法重新构建起整体的决策树。针对决策树在有效构建的过程中，涉及一组已知数据，其中数据中包含在不同的条件下所呈现出的选型结果，同时在系统内部有效设置了初始的知识，以这些初始知识当作最基本的前提，为构建决策树给予与之相对应的基本数据支持。除此之外，该系统也能够充分根据自身的实际情况和用户的需求，添加相对应的新知识，如果用户针对某一次选型结果不够满意，而实施相对应的修改的时候，资源库可以在第一时间及时有效的获取相对应的反馈，以此为最基本的前提，全新的知识或者训练数据就会切实有效的融入到我们已知的知识范畴之内，并结合自身的优势，构建起全新的决策树。

3多维度系统配置与参数的优化

针对大数据构件资源库模块而言，在这个数据库内部有效设计和制定出一种全新的多维度系统参数配置和优化解决方案，在方案中所涉及的内容主要包含硬件参数、操作系统参数、大数据构件参数等系列相关方面的内容，在应用的过程中能够自动化的对其进行系统参数的配置，并且在运行之前进行有效优化。针对任何一个大数据系统构件而言，它可以利用网格搜索的方法进行相对应的分析，并针对不同的参数配置进行充分的测试，以此为前提，进一步有效分析和探究大数据系统的相关性能指数，然后在具体的操作环节，结合不同参数配置所涉及的成本因素、硬件资源等相关方面的内容，利用多元回归、主成分分析等更切实有效的方法，建立健全与性能指标和系统硬件参数息息相关的模型。同时，利用这个模型能够有效计算出具体用户的真实需求，并配置与之相对应的最适宜最优质的硬件参数。针对大数据构件参数来说，主要是通过构建基于规则系统的大数据构件参数配置知识库，使软件参数能够得到自动化的配置。在实际的应用中，软件和硬件参数配置可以同步支持用户的反馈和进行动态更新，与此同时，用户也可以针对配置结果实施相对应的调整和纠正，这样的话，大数据构件资源库就可以对于用户的学习效果进行及时有效的反馈，从根本上有效提升参数配置的精准程度和有效性。

4基于性能模型的硬件容量规划

针对大数据应用系统而言，在它的内部配置与之相对应的硬件系统，而这个硬件配置从根本上有效决定着大数据系统的性能和质量。硬件配置要在有效确保满足系统性能的客观需求之外，还要充分考虑到用户的基本条件，以及相对应的投资成本，这个考量的过程也被叫做硬件容量规划。硬件容量规划所涉及的根本目标主要是:着重对于不同的应用负载需求的相关内容进行切实有效的计算，并根据计算结果，匹配与之相对应的更科学合理的系统资源和配置。针对相关因素进行综合性的分析，构建出更适合参数配置特征的性能模型。然后针对用户的个性化需求，以及与性能有巨大关联的读写吞吐量、读写延迟等相关方面内容，以此作为需求基础，配置相对应的初始参数。如果需求中有比较明显的计算和分析构件，就要进一步着重考虑它的性能是否与客观需求相满足，并根据具体需求，针对配置进行有效调整。针对大数据存储系统而言，要针对各项性能指标进行反复的实验和论证，并通过多元回归的方法有效构建其相应的性能模型，，这个模型可以更生动形象的有效刻画出参数配置与系统性能两者之间的内在联系。

5结束语

总而言之，面对当前快速化发展的大数据技术，如何实现对这一技术的高效化应用现已被人们所广泛关注。大数据应用系统其中包括了对于数据信息内容的收集、存储、处理、分析等多个焊接，其中每一环节都有着多种解决方案，致使大数据应用系统的建立面临巨大考验。本文就对大数据应用的开发与运行平台技术展开了具体分析，探讨了对大数据应用系统的性能优化，并最终就大数据的领域应用从天气预报与物联网两个方面展开了深入研究。

参考文献

[1]王萍.领域大数据应用开发与运行平台技术研究[J].信息与电脑(理论版)，2019(14):147-148.

[2]许可.领域大数据应用开发与运行平台技术研究[J].科学技术创新，2019(10):76-77.

[3]李绍杨.领域大数据应用开发与运行平台技术研究[J].信息记录材料，2018，19(01):46-47.

[4]王建民.领域大数据应用开发与运行平台技术研究[J].软件学报，2017，28(06):1516-1528.