论文部分内容阅读
摘要：随着社会经济水平的不断提高和信息时代的不断发展，计算机网络在社会的各个领域中得到广泛的应用和普及，给人们的生活方式、学习方式和工作方式带来方便的同时，却引发了一系列的网络安全问题，在这样的背景下，网络安全可视化管理系统应运而生，为保证网络信息的安全性和真实性，促进网络的健康、可持续发展发挥出重要作用。该系统成功应用了数据挖掘技术，极大提高对海量数据的收集、分析和处理效果。因此，在数据挖掘技术的应用背景下，加强对网络安全可视化管理系统的设计与应用显得尤为重要。基于以上情况，本文首先在介绍日志分析中数据挖掘算法的基础上，从系统框架设计、开发环境两个方面入手，分析了系统整体框架设计;其次，从数据导入与存储模块、数据预处理模块、数据分析模块、可视化模块四方面入手，研究了系统功能设计;最后，探讨了系统在Tcpflow日志分析中的具体应用。希望通过这次研究，为相关软件开发人员提供有效的借鉴和参考。
关键词：数据挖掘;网络安全;可视化管理系统
中图分类号：TP311文献标识码：A
文章编号：1009-3044（2021）13-0033-03
最近几年，在我国网络技术的不断发展和普及下，各种病毒入侵、黑客攻击等网络攻击事件屡见不鲜，这无疑增加了个人或企业重要信息数据的安全风险，甚至因重要信息泄露或者丢失给个人或企业带来巨大的经济损失。而网络安全可视化管理系统的出现和应用为快速判断和分析网络数据，提高网络入侵检测的准确度，确保网络系统运行的稳定性和安全性产生了积极的影响，因此，在数据挖掘技术的应用背景下，如何科学设计与应用网络安全可视化管理系统是软件开发人员必须思考和解决的问题。
1日志分析中用到的数据挖掘算法
数据挖掘算法内部包含有大量的模型和算法，这些算法在使用的过程中，不存在任何冲突问题，均能实现对各种问题的解决，因此，对于软件开发人员而言，加强对不同类型算法的了解和认识是很有必要的。
2系统整体框架设计
为了保证系统性能的稳定性和可靠性，系统在具体的框架设计中，使用的结构主要以服务器—客户端为主，其中，客户端主要用于对用户所浏览网页的渲染[1]，同时，客户端在对网页进行渲染的过程中，主要用到了SVG和Echarts相关技术;服务器端主要用于对数据的获取、修改、存储，以达到科学设计可视化组件的目的。
2.1系统框架设计
在数据挖掘技术的应用背景下，为了提高系统的运行性能，软件开发人员要充分利用可视化框架，通过将Hadoop系统部署到Linux服务器上，以达到存储和管理海量数据的目的。同时，还要在原有数据处理层的基础上，设计可视化层，便于可视化层利用Echarts相关技术实现对数据资源的快速获取和渲染[2]。系统主要由以下七层组成：1）数据预处理层。该层主要用于对源数据的清洗处理，确保无用数据、失效数据的清除，以提高可用数据的干净性。2）数据导入层。该层在具体的应用中，主要利用HDFS实现对MySQL数据库内部重要数据的导入和存储。3）数据存储层。该层在具体的应用中，可以将系统所需要的数据全部存储在HDFS中。4）数据管理层。该层在具体的应用中，主要采用Hive管理的方式，将系统所需要的数学全部输出到相应的管理层。5）数据服务层。该层在具体的应用中，主要针对数据分析需求，通过利用数据挖掘技术，实现对所有数据的分析和挖掘。6）数据应用层。该层在具体的应用中，通过利用关系型数据库对数据进行导入和存储处理。7）可视化层。该层在具体的应用中，能够根据用户的个性化需求，将用户需要的页面渲染并呈现在客户端，以达到可视化效果。
2.2开发环境
3系统功能设计
3.1數据导入与存储模块
该模块在具体的设计中，需要充分利用Sqoop工具，采用存储海量数据的方式，将MySQL数据库内部的数据导入并存储到Hive数据仓库中。Sqoop工具主要用于对数据的转移和导入操作，为提高数据导入和存储的安全性发挥出重要作用。同时，通过利用Sqoop工具，将最终的数据分析结果，导入到MySQL数据库中，便于其他客户端进行调用和使用，从而极大地提高了数据的利用率。此外，Sqoop工具在具体的使用中，主要采用了技术整合的方式，实现对各种的数据的批处理操作，从而实现对数据容错性的全面提高。因此，在对该模块进行设计的过程中，软件开发人员要重视对Sqoop工具的使用，确保数据导入和存储的高效性和安全性[3]。
3.2数据预处理模块
该模块主要是指用户在对数据进行计算之前，要针对数据计算实际情况，从数据审计、数据清洗和数据集成三个方面入手，完成对原始数据的分析和处理，以达到提高数据计算精确度的目的，确保数据形态能够与算法需求相符合，从而实现对数据计算复杂度和降低，为进一步提高数据计算的效率和效果打下坚实的基础。数据预处理方法如图1所示：
3.3数据分析模块
数据分析模块作为系统的核心功能模块，其设计得是否合理直接影响了整个系统的运行性能，因此，为了确保系统能够可靠、稳定、安全地运行，软件开发人员要重视对该模块的设计与实现。首先，要严格按照系统层级相关标准和要求，将该功能模块划分为数据服务层中，然后，将该功能模块的整个处理流程划分为以下两个步骤：分别为配置文件的读取。和Hive查询任务的执行，通过完成这两步操作，可以实现对数据分析模块的科学设计与实现，为进一步提高数据分析效率和效果创造了良好的条件[4]。
3.4可视化模块
为了保证可视化模块设计的科学性和合理性，软件开发人员要充分利用微服务架构的应用优势，采用同步调用的方式，为用户提供可视化服务功能。可视化模块在具体的设计中涉及SpringMVC的搭建[8]、Bootstrap布局、可视化工具的引入以及可视化组件的设计与实现。 3.4.1SpringMVC
在对SpringMVC进行搭建的过程中，软件开发人员要利用MVC设计思想，通过参考和借鉴优秀的Web框架，以实现对系统可视化功能模块的科学设计与开发。在这个过程中，首先，软件开发人员要采用MVC注解的方式，利用控制器对相关数据进行处理，无须进行接口的搭建和优化，以达到提高数据处理效率和效果的目的。同时，还要将组件结构应用于SpringMVC的搭建中，不断优化和完善SpringMVC功能，同时，还要利用视图解析器，针对MVC框架的使用需求，完成对相关信息的配置，以实现对SpringMVC的成功搭建。
3.4.2Bootstrap布局
为了提高系统可视化效果，为用户带来良好的视觉体验，软件开发人员要重视对Bootstrap的科学布局，提高网页的简洁性和美观性，本系统前端页面在具体的设计和开发中，主要用到了Bootstrap3.0框架，该框架作为一种体积小的常用前端框架之一，具有强大的响应式栅格功能、多样化的css样式、大量的组件和各种官方插件，能够与JQuery框架进行完美结合，实现对各种页面的快速开发，极大地提高了软件开发人员的开发效率和效果。因此，通过将Bootstrap3.0框架应用于本系统的可视化界面开发中，可以得到Bootstrap弹出框，该弹出框主要利用各种小覆盖层[9]，实现对元素相关信息的存放。
3.4.3引入可视化工具
可视化模块在具体的设计与开发中，所用到的可视化工具主要有两种，分别是Echart可视化工具和D3可视化工具。其中，Echarts可视化工具在运用的过程中，首先，要根据实际开发需求，创建一个具有一定高度和宽度的DOM容器，以实现对绘图区域的定义，在此基础上，将Echarts可视化工具引入到DOM容器中，接着，采用加载模块的方式，利用回调函数，实现对各种相关组件的创建和开发，同时，还要利用mapotions对象对各种组件的属性进行设置。此外，还要通过使用JQuery Ajax请求数据接口的方式，向服务器端发送Ajax请求，从而获取客户端需要的可视化数据模型，然后，对数据模块进行解析处理，并将最终解析的结果存储于potion对象中，以实现对可视化模块的设计和开发。D3可视化工具在运用的过程中，可以采用统一接口的方式，设计出满足用户使用需求的图形，为此，软件开发人员要从以下几个方面入手，充分发挥D3可视化工具的应用优势：1）初始数据的确定。在这一环节中，软件开发人员要完成对各种节点数组的定义以及Sip地址范围的明确;2）数据转换操作。在这一环节中，软件开发人员要确保所有数据格式和类型保持一致;3）图形绘制。在这一环节中，软件开发人员通过利用线段生成器，根据实际开发需求，完成对各种图形的快速绘制。可视化组件生成流程如图2所示。
4系统在Tcpflow日志分析中的具体应用
在数据挖掘技术的应用背景下，为了充分发挥和利用网络安全可视化管理系统的应用价值，现将该系统应用于Tcpflow日志分析中，以達到检验系统稳定性和可靠性的目的。在应用该系统的过程中，首先，要将客户端与服务器端之间建立起有效的连接，完成对相关网络结构的搭建，同时，还要严格按照相关服务器使用相关标准和要求，对服务器进行分类，在此基础上，采用识别网络的方式，对网络出现的异常点进行分析和检测，避免因病毒入侵、网络黑客攻击而造成重要网络信息数据的丢失、泄露，以达到保护网络重要信息数据的目的，从而为用户带来良好的使用体验。
5结束语
综上所述，在数据挖掘技术的应用背景下，网络安全可视化管理系统在开发和应用方面取得了很大的突破和创新，该系统不仅功能强大，通用性强，具有良好的用户体验，还在网络入侵检测领域中取得了显著的应用效果，因此，深受广大用户的青睐和喜爱。为了方便后期系统的维护和升级，需要相关软件开发人员再接再厉，用更加优雅的代码扩充更多适用的功能，从而为促进网络安全可视化管理系统的健康、可持续发展，提高其应用价值和应用前景提供有力的保障。
参考文献：
[1] 刘兰，李之棠，李家春，等.基于异构系统的统一网络安全监控体系模型[J].小型微型计算机系统，2006，27（9）：1682-1686.
[2] 张晶.一种基于网络安全的大数据安全分析平台系统[P]. CN201910280131.2， 2019-07-05.
[3] 陈成.网络安全态势感知可视化平台的设计与实现[D].北京邮电大学，2017.
[4] 刘绪崇，雷卫军，曾小军等.一个基于OLAM的可视化数据挖掘系统原型[J].计算机工程与设计，2004，25（7）：1185-1187.
【通联编辑：张薇】
关键词：数据挖掘;网络安全;可视化管理系统
中图分类号：TP311文献标识码：A
文章编号：1009-3044（2021）13-0033-03
最近几年，在我国网络技术的不断发展和普及下，各种病毒入侵、黑客攻击等网络攻击事件屡见不鲜，这无疑增加了个人或企业重要信息数据的安全风险，甚至因重要信息泄露或者丢失给个人或企业带来巨大的经济损失。而网络安全可视化管理系统的出现和应用为快速判断和分析网络数据，提高网络入侵检测的准确度，确保网络系统运行的稳定性和安全性产生了积极的影响，因此，在数据挖掘技术的应用背景下，如何科学设计与应用网络安全可视化管理系统是软件开发人员必须思考和解决的问题。
1日志分析中用到的数据挖掘算法
数据挖掘算法内部包含有大量的模型和算法，这些算法在使用的过程中，不存在任何冲突问题，均能实现对各种问题的解决，因此，对于软件开发人员而言，加强对不同类型算法的了解和认识是很有必要的。
2系统整体框架设计
为了保证系统性能的稳定性和可靠性，系统在具体的框架设计中，使用的结构主要以服务器—客户端为主，其中，客户端主要用于对用户所浏览网页的渲染[1]，同时，客户端在对网页进行渲染的过程中，主要用到了SVG和Echarts相关技术;服务器端主要用于对数据的获取、修改、存储，以达到科学设计可视化组件的目的。
2.1系统框架设计
在数据挖掘技术的应用背景下，为了提高系统的运行性能，软件开发人员要充分利用可视化框架，通过将Hadoop系统部署到Linux服务器上，以达到存储和管理海量数据的目的。同时，还要在原有数据处理层的基础上，设计可视化层，便于可视化层利用Echarts相关技术实现对数据资源的快速获取和渲染[2]。系统主要由以下七层组成：1）数据预处理层。该层主要用于对源数据的清洗处理，确保无用数据、失效数据的清除，以提高可用数据的干净性。2）数据导入层。该层在具体的应用中，主要利用HDFS实现对MySQL数据库内部重要数据的导入和存储。3）数据存储层。该层在具体的应用中，可以将系统所需要的数据全部存储在HDFS中。4）数据管理层。该层在具体的应用中，主要采用Hive管理的方式，将系统所需要的数学全部输出到相应的管理层。5）数据服务层。该层在具体的应用中，主要针对数据分析需求，通过利用数据挖掘技术，实现对所有数据的分析和挖掘。6）数据应用层。该层在具体的应用中，通过利用关系型数据库对数据进行导入和存储处理。7）可视化层。该层在具体的应用中，能够根据用户的个性化需求，将用户需要的页面渲染并呈现在客户端，以达到可视化效果。
2.2开发环境
3系统功能设计
3.1數据导入与存储模块
该模块在具体的设计中，需要充分利用Sqoop工具，采用存储海量数据的方式，将MySQL数据库内部的数据导入并存储到Hive数据仓库中。Sqoop工具主要用于对数据的转移和导入操作，为提高数据导入和存储的安全性发挥出重要作用。同时，通过利用Sqoop工具，将最终的数据分析结果，导入到MySQL数据库中，便于其他客户端进行调用和使用，从而极大地提高了数据的利用率。此外，Sqoop工具在具体的使用中，主要采用了技术整合的方式，实现对各种的数据的批处理操作，从而实现对数据容错性的全面提高。因此，在对该模块进行设计的过程中，软件开发人员要重视对Sqoop工具的使用，确保数据导入和存储的高效性和安全性[3]。
3.2数据预处理模块
该模块主要是指用户在对数据进行计算之前，要针对数据计算实际情况，从数据审计、数据清洗和数据集成三个方面入手，完成对原始数据的分析和处理，以达到提高数据计算精确度的目的，确保数据形态能够与算法需求相符合，从而实现对数据计算复杂度和降低，为进一步提高数据计算的效率和效果打下坚实的基础。数据预处理方法如图1所示：
3.3数据分析模块
数据分析模块作为系统的核心功能模块，其设计得是否合理直接影响了整个系统的运行性能，因此，为了确保系统能够可靠、稳定、安全地运行，软件开发人员要重视对该模块的设计与实现。首先，要严格按照系统层级相关标准和要求，将该功能模块划分为数据服务层中，然后，将该功能模块的整个处理流程划分为以下两个步骤：分别为配置文件的读取。和Hive查询任务的执行，通过完成这两步操作，可以实现对数据分析模块的科学设计与实现，为进一步提高数据分析效率和效果创造了良好的条件[4]。
3.4可视化模块
为了保证可视化模块设计的科学性和合理性，软件开发人员要充分利用微服务架构的应用优势，采用同步调用的方式，为用户提供可视化服务功能。可视化模块在具体的设计中涉及SpringMVC的搭建[8]、Bootstrap布局、可视化工具的引入以及可视化组件的设计与实现。 3.4.1SpringMVC
在对SpringMVC进行搭建的过程中，软件开发人员要利用MVC设计思想，通过参考和借鉴优秀的Web框架，以实现对系统可视化功能模块的科学设计与开发。在这个过程中，首先，软件开发人员要采用MVC注解的方式，利用控制器对相关数据进行处理，无须进行接口的搭建和优化，以达到提高数据处理效率和效果的目的。同时，还要将组件结构应用于SpringMVC的搭建中，不断优化和完善SpringMVC功能，同时，还要利用视图解析器，针对MVC框架的使用需求，完成对相关信息的配置，以实现对SpringMVC的成功搭建。
3.4.2Bootstrap布局
为了提高系统可视化效果，为用户带来良好的视觉体验，软件开发人员要重视对Bootstrap的科学布局，提高网页的简洁性和美观性，本系统前端页面在具体的设计和开发中，主要用到了Bootstrap3.0框架，该框架作为一种体积小的常用前端框架之一，具有强大的响应式栅格功能、多样化的css样式、大量的组件和各种官方插件，能够与JQuery框架进行完美结合，实现对各种页面的快速开发，极大地提高了软件开发人员的开发效率和效果。因此，通过将Bootstrap3.0框架应用于本系统的可视化界面开发中，可以得到Bootstrap弹出框，该弹出框主要利用各种小覆盖层[9]，实现对元素相关信息的存放。
3.4.3引入可视化工具
可视化模块在具体的设计与开发中，所用到的可视化工具主要有两种，分别是Echart可视化工具和D3可视化工具。其中，Echarts可视化工具在运用的过程中，首先，要根据实际开发需求，创建一个具有一定高度和宽度的DOM容器，以实现对绘图区域的定义，在此基础上，将Echarts可视化工具引入到DOM容器中，接着，采用加载模块的方式，利用回调函数，实现对各种相关组件的创建和开发，同时，还要利用mapotions对象对各种组件的属性进行设置。此外，还要通过使用JQuery Ajax请求数据接口的方式，向服务器端发送Ajax请求，从而获取客户端需要的可视化数据模型，然后，对数据模块进行解析处理，并将最终解析的结果存储于potion对象中，以实现对可视化模块的设计和开发。D3可视化工具在运用的过程中，可以采用统一接口的方式，设计出满足用户使用需求的图形，为此，软件开发人员要从以下几个方面入手，充分发挥D3可视化工具的应用优势：1）初始数据的确定。在这一环节中，软件开发人员要完成对各种节点数组的定义以及Sip地址范围的明确;2）数据转换操作。在这一环节中，软件开发人员要确保所有数据格式和类型保持一致;3）图形绘制。在这一环节中，软件开发人员通过利用线段生成器，根据实际开发需求，完成对各种图形的快速绘制。可视化组件生成流程如图2所示。
4系统在Tcpflow日志分析中的具体应用
在数据挖掘技术的应用背景下，为了充分发挥和利用网络安全可视化管理系统的应用价值，现将该系统应用于Tcpflow日志分析中，以達到检验系统稳定性和可靠性的目的。在应用该系统的过程中，首先，要将客户端与服务器端之间建立起有效的连接，完成对相关网络结构的搭建，同时，还要严格按照相关服务器使用相关标准和要求，对服务器进行分类，在此基础上，采用识别网络的方式，对网络出现的异常点进行分析和检测，避免因病毒入侵、网络黑客攻击而造成重要网络信息数据的丢失、泄露，以达到保护网络重要信息数据的目的，从而为用户带来良好的使用体验。
5结束语
综上所述，在数据挖掘技术的应用背景下，网络安全可视化管理系统在开发和应用方面取得了很大的突破和创新，该系统不仅功能强大，通用性强，具有良好的用户体验，还在网络入侵检测领域中取得了显著的应用效果，因此，深受广大用户的青睐和喜爱。为了方便后期系统的维护和升级，需要相关软件开发人员再接再厉，用更加优雅的代码扩充更多适用的功能，从而为促进网络安全可视化管理系统的健康、可持续发展，提高其应用价值和应用前景提供有力的保障。
参考文献：
[1] 刘兰，李之棠，李家春，等.基于异构系统的统一网络安全监控体系模型[J].小型微型计算机系统，2006，27（9）：1682-1686.
[2] 张晶.一种基于网络安全的大数据安全分析平台系统[P]. CN201910280131.2， 2019-07-05.
[3] 陈成.网络安全态势感知可视化平台的设计与实现[D].北京邮电大学，2017.
[4] 刘绪崇，雷卫军，曾小军等.一个基于OLAM的可视化数据挖掘系统原型[J].计算机工程与设计，2004，25（7）：1185-1187.
【通联编辑：张薇】