论文部分内容阅读
我国电信竞争大格局的形成,市场竞争的日趋激烈,使得电信运营商意识到本身的生存和发展危机,从而更加重视自身的建设和对客户的争夺,这对电信网络的业务能力和服务能力提出了新的要求,由此引发了有一轮的竞争,竞争的焦点从资源的竞争逐渐转向了以软投资的加大为标志的质量竞争。电信运营商们的BOSS系统、客户分析系统和OA系统为核心的软投资的增加,为广大的设备系统集成商们提供了广阔的市场,并且拉开了产业链上下游各个环节之间的或合作或竞争的帷幕。
国内各大电信运营商早已拥有了自己的运营支撑系统,但是都是根据某一项需求独立开发,系统间接口不一。同时,各地自建的业务系统也欠缺对全国数据的统一支持。目前国内还处在BOSS建设的初级阶段,首先能做到的是将业务流程中某个环节中的不同业务进行纵向整合,如帐务管理中的长话、市话、数据各部分的整合,以及服务不同业务的综合客服系统;下一阶段的横向整合则使营业、帐务、客户关系以及决策支持各部分共同形成一个有机的整体。
本文的工作基于电信业的应用背景,建立基于OSS/J的数据挖掘系统,主要完成以下两个工作:
(1)使用基于XML的中间层进行数据清洗、转换:使用DTD进行定义数据格式,建立数据结构的映射机制。从而解决数据格式繁杂的问题。
(2)使用OLAP与建立数学模型进行二次挖掘的机制。使用OLAP进行第一次挖掘,确立挖掘的方向和主题,淘汰冗余的数据。对OLAP选出的数据空间,建立数学模型,精确评估隐藏在庞大数据里的信息。从而解决数据量大,冗余数据的问题。
本文的创新地在清洗转换层中引入了XMI中间层,结合xML与数据挖掘技术,定义了以DTD为基础的清洗流程语法机制,描述数据清洗的流程及数据依赖关系。在此基础上,以多线程以及接口封装技术分离出数据遍历模块以及数据清洗模块,以数据遍历流程为主,在转换数据结构的同时完成数据清洗的工作。
这样做的好处是提高了数据清洗算法的模块性与可重用性。降低数据清洗算法与实例数据的耦合度,做到一次编程,处处使用。从而提高数据清洗工作的效率。