`
hongliangpan
  • 浏览: 312000 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

数据仓库如何在电信网络资源分析系统中应用

阅读更多
数据仓库如何在电信网络资源分析系统中应用

作者: 国信朗讯网络科技技术有限公司资源二部
闫景辉 王修伦
日前,随着中国电信企业管理理念的发展,电信信息化建设逐步走上了规范化的道路。中国电信集团的IT信息化系统建设规范CTG-MBOSS详细的描述了各个域(­MSS、BSS、OSS)的范围及组成。各个电信公司建设的OSS系统积累了很多业务数据,但是这些数据分散在不同的系统里,相互之间没有有机的联系起来,无法­为统计、综合查询、业务分析提供更好的服务,也没有体现出数据蕴涵的价值。为此,国信朗讯公司通过提供集中的网络资源综合分析系统,将这些分散的数据有机地整合­在一起,形成一个集中式的网络资源数据仓库,并且在此基础上开发出综合的统计、查询、分析应用功能,更好地挖掘数据的价值,发现数据中蕴涵的知识,使客户投资的­价值最大化。

系统总体结构
为什么资源分析系统要基于数据仓库?我们先分析一下联机系统数据的特点。联机系统的数据为了满足应用的要求,通常采用范式结构,通常数据一直在变化,通常对性能­要求很高,通常每个系统只存储了自己关心的数据,而分析系统要求的数据是面向主题的,某个指定时间/时间段的数据是固定的,所有相关数据是集成的,并且随着时间­的变化,数据也要体现变化的趋势,并且统计、分析对硬件资源的瞬时占用是很高的。联机系统(OLTP)和分析系统(OLAP)截然不同的特点决定了我们建设的网­络资源分析系统必须要基于数据仓库,网络资源分析系统是构建在数据仓库上的BI系统。

网络资源分析系统中采取的关键技术
网络资源分析系统的建设涉及到数据存储技术、ETL技术、数据分析、数据展示等四个主要方面。

1:数据存储技术
数据仓库和ODS采用了Oracle
9i数据库作为数据存储平台。Oracle在数据仓库领域有着自己独到的优势。如基于物化视图(Materialized
View)的汇总表管理。汇总是统计分析最常用的功能,采用汇总表之后每个查询都是预先计算的结果,不需要对数据进行动态的计算,Oracle通过物化视图实现­了类似汇总表自动管理的功能并且使用方便。可以管理大数据量的分区表技术,分区的方式有range分区、hash分区和composite分区,并且对索引表和­索引表的二级索引也可以进行分区,Oracle的分区机制保证了对大数据量的高枕无忧。

另外Oracle还提供了Parallel
Query等可以提高查询性能的手段。Oracle还可以支持PB级的数据量,并且可以和第三方的ETL工具很好的集成。Oracle的这些特性很好的满足了我­们对数据仓库的需求。

2:ETL技术
目前业界典型的商业化ETL产品包括Data Intergrator、Data
Stage、Informatica、OWB等。其中OWB和Oracle的结合比较好,但是开发过程较为复杂;Intergrator的优化结果明显,版本管­理功能比较方便;Informatica的功能比较完善,细节考虑的也很周到。

这些专业的ETL软件功能上是各有千秋,都能满足系统设计的需求,唯一的不足是价格过于昂贵。受项目预算限制,我们把目光转向了开放源代码,选择了Object
web组织提供的Enhydra
Octopus。Octopus是基于Java的ETL工具,访问数据库采用了JDBC驱动,可以连接异构的数据源,包括各种DBMS、文件等,并且可以运行在­各种平台下,方便部署。

解决了ETL软件的问题,还要谈谈ETL的策略。ETL软件只是一个工具,如何让这个工具发挥作用,还是要看如何使用它。网络资源分析系统需要与多个外部数据源­进行集成,这些数据源根据不同的客户需求,可能是几个到几十个。在数据源多,网络复杂的情况下保证数据抽取能够按时完成变得相当有难度。

为此我们采取了如下策略:"需要抽取的数据首先在数据源进行一次聚合,抛弃不需要的信息,减少数据传输量。数据抽取到数据仓库的临时数据区再进行转化,装载"。­事实证明这个策略将计算分散到了源数据库,大大的减少了计算需要的时间,并且减少了网络传输数据量,再加上并发的机制很好的解决了对性能的要求。现在可以做到每­天运行一次ETL过程,每次花费2至3个小时时间。

3:数据分析和展示技术
在数据仓库和数据都准备好的条件下,就可以开始资源分析系统最主要的统计、分析功能了。统计方面的功能实现,我们采用了成熟的第三方平台:Microstrat­egy(简称Mstr)。Mstr是在BI领域的统计报表方面有着自己的优势:基于ROLAP(基于关系型数据库的OLAP实现)的方式,基于数据立方的分析机­制,完善的桌面工具,同时支持ASP和JSP标准,丰富的开放API(应用程序接口)方便集成。事实证明一个好的平台可以让我们把精力更关注于业务领域。基于M­str,我们快速的建立了业务模型,并且在上面实现了各种应用。利用Mstr提供的功能,方便的实现了切片,钻取,汇总等各种功能。

结束语
随着项目的实施,积极效果一点点体现出来。电信公司各个层次的客户可以方便的在系统中查看到自己关心的内容。原来需要登录不同系统才能查看的报表可以在资源分析­系统中很方便的查看。原来割裂的数据得以整合,整合后的数据更容易发现内在的规律,数据的价值也得以体现。依托于平台的优势,我们可以快速地响应用户需求的变化­,使客户的投资得到回报,为客户提供了更好的服务。 
 

分享到:
评论

相关推荐

    数据挖掘在电信中应用

    本文从基于数据仓库的电信网络资源管理系统的整体架构出发,设计了该系 统的主题分析;完成了基于主题分析的数据仓库模型的构建;并对相关的主题分 析的内容引入成熟的数据挖掘算法完成对决策辅助信息的挖掘工作等。

    运营商大数据需求分析报告.pdf

    研究并应用大数据关键技术对各领域持续生成的服务数据、 用户数据和网络数据进行分析挖掘,并将产生的结果和知识应用于服务 和支撑系统中,对服务的运行数据进行缜密的评估和诊断,并实现对用 户的行为数据进行深入...

    中移动集团信息系统设计书_简版

    2.1.3 中移动财务/人力资源 项目在系统功能方面的需求 4 2.2 汉得为中移动集团公司提供的整体解决方案 5 2.2.1 总体设计目标 5 2.2.2 总体系统规划及蓝图 6 2.3 汉得核心解决方案的特点 9 2.3.1 先进的技术支持体系...

    php和mysql开发的报刊订阅管理系统

    VB+SQL仓库管理 VC+ACCESS 16PF测评系统分析与设计 VB026图书管理系统 VC++ sql班级事务管理系统 VB+ACCESS高校科研管理系统 VC++ sql商品销售管理系统 VB+ACCESS计算机自动出卷系统 VC++ USB通信程序开发 VB+ACCESS...

    缺陷管理系统。Apache+PHP+MySQL

    VB+SQL仓库管理 VC+ACCESS 16PF测评系统分析与设计 VB026图书管理系统 VC++ sql班级事务管理系统 VB+ACCESS高校科研管理系统 VC++ sql商品销售管理系统 VB+ACCESS计算机自动出卷系统 VC++ USB通信程序开发 VB+ACCESS...

    大数据与电子政务.doc

    大数据与电子政务 摘要:本文主要通过作者自己对大数据和电子政务的认识和理解,简单介绍了:大数 据技术现状、国外政府大数据应用现状与趋势、中国政府大数据情况以及电子政务与大 数据的在政务中的潜力和社会意义...

    大数据形考.doc

    开发数据仓库的应用分析 C. 建立数据仓库逻辑模型 D. 收集业务需求 5、梅特卡尔夫定律主要是描述信息网络,指出网络的价值在于网络的互联,联网的接点 数与其价值呈现()的方式,联网越多,系统的价值越大。 答案...

    大数据复习题(答案).doc

    A:互联网金融打破了传统的观念和行为B:大数据具有非常高的成本C:大数据存在 泡沫D:个人隐私泄露与信息安全担忧 20、数据仓库的最终目的是(D) A开发数据仓库的应用分析B:收集业务需求C:建立数据仓库逻辑模型D...

    大数据复习题(答案)(1).doc

    A:互联网金融打破了传统的观念和行为B:大数据具有非常高的成本C:大数据存在 泡沫D:个人隐私泄露与信息安全担忧 20、数据仓库的最终目的是(D) A开发数据仓库的应用分析B:收集业务需求C:建立数据仓库逻辑模型D...

    大数据与图书馆服.pptx

    在2010年7月,联合国发布了《大数据促发展,挑战与机遇》白皮书,白皮书中指出,大数据时代已经到来,如今人们可以使用极其丰富的数据资源,包括旧数据和新数据,来对社会,对人口进行前所未有的实时分析。...

    Oracle Database 11g初学者指南--详细书签版

    他的关注方向包括Oracle产品集,以及其他前沿技术和这些技术在优化数据仓库设计和部署的应用。他还是各种技术会议的主讲人,包括COLLABORATE、Oracle OpenWorld和其他地方与区域会议。  Michael Abbey是公认的...

Global site tag (gtag.js) - Google Analytics