论文部分内容阅读
摘 要：随着计算机技术的不断更新与发展，大数据技术应运而生，应用优势逐步凸显。而企业在发展过程中，具备着丰富的客户资源和海量的数据积累，倘若没有做好对数据的高效化管理，就会给企业的发展带来一定的经济损失。因此，如何合理的挖掘数据价值，最大化的实现对数据的保护，成为当前企业所要解决的主要问题。而基于大数据应用体系架构的设计，就能基于数据的特性，构建相应的数据模型，以此提高对数据的处理能力，进而满足用户的个性化需求。
关键词：大数据;应用体系;架构设计
0 引言
信息化时代下，人们无时无刻不在产生数据，而数据的来源也是多种多样。大数据应用系统，主要就是建立在庞大的数据来源上产生的应用系统，通过高效化的管理模式，使数据发挥出其强大的决策力、洞察力以及高流程的优化能力，以此给系统使用者提供重要的数据信息参考依据。因此，应基于大数据技术合理的设计并构建应用体系架构，确保最大化的挖掘出数据所具备的价值和能力。本文就针对基于大数据的应用体系架构设计方法展开具体的分析与讨论。
1 大数据应用体系的架构设计
1.1 总体架构的设计原则
大数据技术的出现，给我国传统数据应用架构带来了一定的挑战。而基于大数据背景下，对于应用体系架构的设计，就应遵循相应的设计原则，以此确保整个体系设计的合理性。首先，体系架构的设计应具备较大的数据储存能力，并且能够存储多种类型的数据。而传统的数据体系架构，对于数据的分析方面还稍有欠缺，无论是技术方面还是方法方面，都无法满足当前对庞大数据的分析。因此，在进行具体的体系架构设计时，就应确保整个体系架构能够更加可用、可靠并且还具备较大的空间扩展性，这样既能完成对数据信息的高质量存储，而且还能实现对数据的合理化保护。此外，大数据背景下，对于数据应用体系架构的设计还应始终坚持3个统一原则，即：第一，具备较大的数据加载和处理分析能力，能够应对爆炸式的数据信息。第二，具备较强的应用扩展性，确保满足多种数据应用场景。第三，具备分析原始数据格式的能力，以此就能完成对各类型数据的精准分类[1]。
1.2 大数据应用体系的结构设计
数据来源的多样化，导致数据类型也更加丰富。因此，大数据体系应用结构应主要包含：结构化数据、半结构化数据以及非结构化数据3种。其中，对于结构化数据而言，其有明确的数据信息格式，而半结构化数据的数据信息和逻辑比较容易处理，但是数据类型往往掺杂在一块，这样就增大了对数据信息挖掘的难度。而非结构化数据主要就是指视频、音频等相关数据信息，由于其缺乏完整的体系架构，故对于数据的处理就显得更为混乱。因此，要想最大化地发挥出数据的应用价值，深度挖掘其所具备的能力，就应基于大数据技术，构建一个更加完善且科学的数据应用体系架构。
2 大数据应用体系架构的具体设计
2.1 数据管理
数据管理应主要包含3个方面，即：数据导入、数据清洗和数据治理。
其中，数据导入是管理数据的第一步，也是保证数据质量的基础。其中，数据的收集可以通过不同的数据源完成对指定规则数据的收取，待数据抽取完成之后，还应实现对其的高效化存储。对于数据的收集，一般使用多样化的接口方式，不仅可以支持传统的FTP文件接口，还可以支持实时性分析，以此就能更好地满足对多样化格式数据的收集[2]。数据收集完毕之后，需要对数据进行加载，目的是能够将数据源文件合理的保存至数据库。通过提交相应的参数设置，来规范化数据文件输入路径，加载文件能够更好地匹配相关信息，以此完成对文件的发现、获取以及对数据的加载和校验，最终促进数据的高质量入库。此外，无论是数据加载的结束或者失败，都应在系统的数据日志中完成对操作日志的记录，这样可为后续数据问题的排查以及数据的稽核提供重要的参考性依据。
数据清洗主要就是指：根据数据价值、数据质量的衡量依据，通过多个维度和多个视角完成对数据的全面排查，确保及时的发现数据中的不良数据。其中，在具体实施时，可根据实体分析数据评估指标，完成对存有数据质量问题的数据的定位，进而根据相关规则，实现对存有问题字段的探查，以此就能明确的找出存有问题的数据。
数据清洗主要定位数据问题存在位置，而数据治理则主要确定数据存在问题的原因，从而使得数据质量能够得到显著的提高。其中，数据质量一般包含：数据结构复杂、数据质量低以及缺乏数据字典等多个问题。因此，在构建大数据应用体系架构时，就可创建相应的数据分析平臺，加大对数据分析的力度，并实现对问题数据的筛查，确保形成一个统一且高质量的数据源，以此给后续工作的开展提供重要的数据支撑。而在具体分析数据源时，就可重点排查数据重复的原因，并创建相应的策略模型，来获取空值数据和缺失的数据，并让其进入到所创建的数据分析平台中，以此也就有助于分析出数据重复的原因[3]。
2.2 对数据进行标准化建设
各数据之间都是相互独立的，但是数据格式的不统一、数据建设的不规范，就在一定程度上给数据间的共享带来了较大问题。倘若不对此问题进行合理化解决，就会增大数据的录入成本，还会造成资源的浪费。因此，在设计数据应用体系架构时，还应注重对数据的标准化建设，确保实现数据信息的规范性和统一性。在收集数据时，应在统一的数据平台上完成收集，这样就能保证数据的来源一致。收集完数据后，还需要根据相关业务需求，将数据转换为所要求的目的数据。最后，再对不符合规定的数据进行清洗，以此就能保证数据的存储质量[4]。
2.3 数据安全性设计
保障数据的安全性，是大数据应用体系架构的基础。因此，在具体设计时，就可根据安全态势感知模型，完成对整个系统安全性的分析。而安全态势感知模型，可完成对数据收集方面的监控，一旦发现所收集的数据信息不满足相关要求时，就会发出告警信息，并且还会出具相应的审计报告，这样也就避免了不合格数据入库，进而也就提升了整个数据信息的安全性。
2.4 平台数据的存储
数据的存储，一般可采用云存储技术，该种技术主要由多种设备软件构成。而为了实现对其的高效维护，一般会将数据存储在存储层中，并且还应让其兼容多种不同类型的协议，这样就能更好的实现数据的高效化存储。此外，云存储主要利用流的方式完成对数据的传输，这样就能实现对流媒体结构的限制，以此也就大大地提升了整个系统的运行性能[5]。
3 结语
不断地研究与分析基于大数据的应用体系架构设计，对于有效的提升大数据应用体系架构设计的合理性，最大化的挖掘出数据信息的应用价值以及实现对数据的合理化保护都具有至关重要的作用。因此，应首先认识与了解大数据应用体系的架构设计，进而从数据管理、对数据进行标准化建设、数据安全性设计以及平台数据的存储4个方面完成对大数据应用体系架构的高质量设计，确保最大化地发挥出体系架构的应用价值，满足企业的个性化需求，以此推动我国经济建设的可持续发展。
[参考文献]
[1]刘菱琳，周祖斌，杨志清，等.基于大数据的应用体系架构设计研究[J].电子设计工程，2020（23）：25-28，33.
[2]李进.试验数据应用体系架构设计[J].电子技术与软件工程，2019（15）：123-124.
[3]叶挺.大数据平台安全架构体系研究与应用[D].杭州：浙江工业大学，2019.
[4]吕登龙，朱诗兵.大数据及其体系架构与关键技术综述[J].装备学院学报，2017（1）：86-96.
[5]王强，李俊杰，陈小军，等.大数据分析平台建设与应用综述[J].集成技术，2016（2）：2-18.
（编辑 何 琳）
关键词：大数据;应用体系;架构设计
0 引言
信息化时代下，人们无时无刻不在产生数据，而数据的来源也是多种多样。大数据应用系统，主要就是建立在庞大的数据来源上产生的应用系统，通过高效化的管理模式，使数据发挥出其强大的决策力、洞察力以及高流程的优化能力，以此给系统使用者提供重要的数据信息参考依据。因此，应基于大数据技术合理的设计并构建应用体系架构，确保最大化的挖掘出数据所具备的价值和能力。本文就针对基于大数据的应用体系架构设计方法展开具体的分析与讨论。
1 大数据应用体系的架构设计
1.1 总体架构的设计原则
大数据技术的出现，给我国传统数据应用架构带来了一定的挑战。而基于大数据背景下，对于应用体系架构的设计，就应遵循相应的设计原则，以此确保整个体系设计的合理性。首先，体系架构的设计应具备较大的数据储存能力，并且能够存储多种类型的数据。而传统的数据体系架构，对于数据的分析方面还稍有欠缺，无论是技术方面还是方法方面，都无法满足当前对庞大数据的分析。因此，在进行具体的体系架构设计时，就应确保整个体系架构能够更加可用、可靠并且还具备较大的空间扩展性，这样既能完成对数据信息的高质量存储，而且还能实现对数据的合理化保护。此外，大数据背景下，对于数据应用体系架构的设计还应始终坚持3个统一原则，即：第一，具备较大的数据加载和处理分析能力，能够应对爆炸式的数据信息。第二，具备较强的应用扩展性，确保满足多种数据应用场景。第三，具备分析原始数据格式的能力，以此就能完成对各类型数据的精准分类[1]。
1.2 大数据应用体系的结构设计
数据来源的多样化，导致数据类型也更加丰富。因此，大数据体系应用结构应主要包含：结构化数据、半结构化数据以及非结构化数据3种。其中，对于结构化数据而言，其有明确的数据信息格式，而半结构化数据的数据信息和逻辑比较容易处理，但是数据类型往往掺杂在一块，这样就增大了对数据信息挖掘的难度。而非结构化数据主要就是指视频、音频等相关数据信息，由于其缺乏完整的体系架构，故对于数据的处理就显得更为混乱。因此，要想最大化地发挥出数据的应用价值，深度挖掘其所具备的能力，就应基于大数据技术，构建一个更加完善且科学的数据应用体系架构。
2 大数据应用体系架构的具体设计
2.1 数据管理
数据管理应主要包含3个方面，即：数据导入、数据清洗和数据治理。
其中，数据导入是管理数据的第一步，也是保证数据质量的基础。其中，数据的收集可以通过不同的数据源完成对指定规则数据的收取，待数据抽取完成之后，还应实现对其的高效化存储。对于数据的收集，一般使用多样化的接口方式，不仅可以支持传统的FTP文件接口，还可以支持实时性分析，以此就能更好地满足对多样化格式数据的收集[2]。数据收集完毕之后，需要对数据进行加载，目的是能够将数据源文件合理的保存至数据库。通过提交相应的参数设置，来规范化数据文件输入路径，加载文件能够更好地匹配相关信息，以此完成对文件的发现、获取以及对数据的加载和校验，最终促进数据的高质量入库。此外，无论是数据加载的结束或者失败，都应在系统的数据日志中完成对操作日志的记录，这样可为后续数据问题的排查以及数据的稽核提供重要的参考性依据。
数据清洗主要就是指：根据数据价值、数据质量的衡量依据，通过多个维度和多个视角完成对数据的全面排查，确保及时的发现数据中的不良数据。其中，在具体实施时，可根据实体分析数据评估指标，完成对存有数据质量问题的数据的定位，进而根据相关规则，实现对存有问题字段的探查，以此就能明确的找出存有问题的数据。
数据清洗主要定位数据问题存在位置，而数据治理则主要确定数据存在问题的原因，从而使得数据质量能够得到显著的提高。其中，数据质量一般包含：数据结构复杂、数据质量低以及缺乏数据字典等多个问题。因此，在构建大数据应用体系架构时，就可创建相应的数据分析平臺，加大对数据分析的力度，并实现对问题数据的筛查，确保形成一个统一且高质量的数据源，以此给后续工作的开展提供重要的数据支撑。而在具体分析数据源时，就可重点排查数据重复的原因，并创建相应的策略模型，来获取空值数据和缺失的数据，并让其进入到所创建的数据分析平台中，以此也就有助于分析出数据重复的原因[3]。
2.2 对数据进行标准化建设
各数据之间都是相互独立的，但是数据格式的不统一、数据建设的不规范，就在一定程度上给数据间的共享带来了较大问题。倘若不对此问题进行合理化解决，就会增大数据的录入成本，还会造成资源的浪费。因此，在设计数据应用体系架构时，还应注重对数据的标准化建设，确保实现数据信息的规范性和统一性。在收集数据时，应在统一的数据平台上完成收集，这样就能保证数据的来源一致。收集完数据后，还需要根据相关业务需求，将数据转换为所要求的目的数据。最后，再对不符合规定的数据进行清洗，以此就能保证数据的存储质量[4]。
2.3 数据安全性设计
保障数据的安全性，是大数据应用体系架构的基础。因此，在具体设计时，就可根据安全态势感知模型，完成对整个系统安全性的分析。而安全态势感知模型，可完成对数据收集方面的监控，一旦发现所收集的数据信息不满足相关要求时，就会发出告警信息，并且还会出具相应的审计报告，这样也就避免了不合格数据入库，进而也就提升了整个数据信息的安全性。
2.4 平台数据的存储
数据的存储，一般可采用云存储技术，该种技术主要由多种设备软件构成。而为了实现对其的高效维护，一般会将数据存储在存储层中，并且还应让其兼容多种不同类型的协议，这样就能更好的实现数据的高效化存储。此外，云存储主要利用流的方式完成对数据的传输，这样就能实现对流媒体结构的限制，以此也就大大地提升了整个系统的运行性能[5]。
3 结语
不断地研究与分析基于大数据的应用体系架构设计，对于有效的提升大数据应用体系架构设计的合理性，最大化的挖掘出数据信息的应用价值以及实现对数据的合理化保护都具有至关重要的作用。因此，应首先认识与了解大数据应用体系的架构设计，进而从数据管理、对数据进行标准化建设、数据安全性设计以及平台数据的存储4个方面完成对大数据应用体系架构的高质量设计，确保最大化地发挥出体系架构的应用价值，满足企业的个性化需求，以此推动我国经济建设的可持续发展。
[参考文献]
[1]刘菱琳，周祖斌，杨志清，等.基于大数据的应用体系架构设计研究[J].电子设计工程，2020（23）：25-28，33.
[2]李进.试验数据应用体系架构设计[J].电子技术与软件工程，2019（15）：123-124.
[3]叶挺.大数据平台安全架构体系研究与应用[D].杭州：浙江工业大学，2019.
[4]吕登龙，朱诗兵.大数据及其体系架构与关键技术综述[J].装备学院学报，2017（1）：86-96.
[5]王强，李俊杰，陈小军，等.大数据分析平台建设与应用综述[J].集成技术，2016（2）：2-18.
（编辑 何 琳）