论文部分内容阅读
随着电信通信行业的快速发展,光纤通信网络的资源数量以指数型的趋势增长,光纤网络拓扑日渐复杂。各通信运营商对安全、高效的管理各类资源,从而给用户提供稳定的端到端服务提出了更高的要求。因此,如何实现对该光纤网络资源的管理和调度已经成为优化整体资源配置,节约建设成本的关键问题。随着4G业务和5G业务的发展,运营商今后的业务将会逐渐向光纤应用的方向发展,光纤业务比重将慢慢提高。光纤路由规划也将是未来通信运营商业务调度的重点。本文通过对光纤网络资源管理系统的功能进行分析,发现光纤路由规划是光纤网络资源管理中的重点和难点。此外,还通过对云计算在大规模图数据处理的研究现状进行分析,发现在云平台上实现大规模图数据处理是一个十分有潜力的研究方向。最近几年,云计算发展势头迅猛,其中以Spark最为热门,因此,我们可以结合云计算来对我们的问题进行研究。本文主要结合云计算相关技术以及在光纤网络资源管理中光纤路由规划这一实际问题,对在大规模图上进行图搜索和最短路径问题研究。首先,本文针对云计算进行研究,分析Map Reduce编程模式和Spark编程模式,分析两种编程模式的优缺点,为后续的算法设计及编程提供理论基础。其次,通过对光纤路由规划相关业务进行分析,得到光纤网络的拓扑结构,并分析光纤网络拓扑结构,将光纤网络抽象为图模型,同时,将光纤路由规划问题转换为图的搜索问题和最短路径问题。接着,通过分析图论中基本的存储模型,并基于光纤路由网络拓扑模型对图的存储模型进行改进,以列存储形式来存储数据,改进后的存储模型减少了存储空间的使用,提高存储模型读写效率,且适用于云平台和并行计算。最后,对BFS算法进行分析,设计出基于云平台的并行化BFS算法,同时,采用Spark编程模式和并行化的BFS算法,在Spark平台上实现并行化的广度优先搜索算法和最短路径算法,并在平台上进行实验,并对实验结果进行对比和分析,得出基于Spark平台的广度优先搜索算法和最短路径算法准确和高效的实验结论。