数据仓库与数据挖掘

下载后可任意编辑 1. 技术瓶颈：海量数据收集、海量数据存储、海量数据多维分析等一系列的问题，即使最热门最被业内人士看好的Hadoop技术能否撑得住？ 2. 资源投入：海量数据处理伴随着相应的硬件、软件需求的增长，技术人员的投入上对企业势必成为新的负担。 3. 价值金矿：海量数据中的非结构化数据蕴含着的“价值金矿”，能够帮助企业从未所触及的角度和维度为企业提供商业决策和辅助。 从海量数据价值挖掘层面上看，传统的思维是数据量加大是一定要考虑OLAP的，一般的报表可能5、6个小时出来结果，而基于Cube的查询可能只需要几分钟，因此从一般意义上认为处理海量数据的利器是OLAP多维分析，即建立数据仓库，建立多维数据集，基于多维数据集进行报表展现和数据挖掘等。 然而目前OLAP存在的最大问题是: 业务灵活多变,必定导致业务模型随之常常发生变化,而业务维度和度量一旦发生变化,技术人员需要把整个Cube重新定义并重新生存,业务人员只能在此Cube上进行多维分析,这样就限制了业务人员快速改变问题分析的角度,从而使所谓的BI系统称为死板的日常报表系统. 在思达商业智能平台 Style Intelligence上进行海量数据的多维数据分析，从业务需求的角度出发，维度和度量才是直接针对业务人员的分析语言。在自主知识产权数据块儿技术支持下，直接把维度和度量的生成交给业务人员，由业务人员自己定义好维度和度量之后，将业务的维度和度量直接运行，并最终生成报表。 此种以终为始的设计思路，首先能解决传统OLAP分析中维度难以改变的问题，利用思达商业智能平台 Style Intelligence中数据非结构化的特征，业务人员可以灵活地改变问题分析的角度，对业务人员非常友善。其次思达商业智能平台Style Intelligence 在海量数据处理中利用分布式数据处理架构强大的分布式数据处理能力，无论OLAP分析中的维度增加多少，系统开销并不显著增长。 、 附录资料：不需要的可以自行删除 如何构建银行数据仓库 数据仓库技术作为一项数据管理领域的新技术，其精髓在于针对联机分析处理(OLAP)提出了一种综合的解决方案，与以往很多技术不同的是，它主要是一种概念，在此概念指导下完成系统的构造。既没有可以直接购买到的现成产品，也没有具体的分析法律规范和实现方法，也就是说没有成熟、可靠且被广泛接受的数据仓库标准。在以往关系数据库的设计和实现中，不仅有详细的理论推导，还有无数的设计实例，无论你使用的是什么公司的数据库产品、开发工具，只要根据法律规范做，那么实现同一业务需求的方案都会很相似。而现有数据仓库的实现中，出现了MOLAP方案和ROLAP方案的区别，出现了形形色色的数据仓库建模工具、表现工具，而设计人员的个人经验和素养也会在其中扮演很重要的角色。 数据仓库技术的实现方式 目前在数据仓库技术的实际应用中主要包括如下几种具体实现方式。 1、在关系数据库上建立数据仓库(ROLAP) 2、在多维数据库上建立数据仓库(MOLAP) MOLAP方案是以多维方式来组织数据，以多维方式来存储数据；ROLAP方案则以二维关系表为核心表达多维概念，通过将多维结构划分为两类表:维表和事实表，使关系型结构能较好地适应多维数据的表示和存储。在多维数据模型的表达方面，多维矩阵比关系表更清楚且占用的存储更少，而通过关系表间的连接来查询数据的ROLAP系统，系统性能成为最大问题。MOLAP方案比ROLAP方案要简明，索引及数据聚合可以自动进行并自动管理，但同时丧失了一定的灵活性。ROLAP方案的实现较为复杂，但灵活性较好，用户可以动态定义统计和计算方式，另外能保护在已有关系数据库上的投资。 由于两种方案各有优劣，因此在实际应用中，往往将MOLAP和ROLAP结合使用，即所谓的混合模型。利用关系数据库存储历史数据、细节数据或非数值型数据，发挥关系数据库技术成熟的优势，减少花费，而在多维数据库中存储当前数据和常用统计数据，以提高操作性能。 3、在原有关系库上建立逻辑上的数据仓库 由于目前正在运行的OLTP系统中已经积累了海量数据，如何从中提取出决策所需的有用信息就成为用户最迫切的需要。新建数据仓库固然能从功能、性能各方面给出一个完整的解决方案，但需要投入大量的人力、物力，并且数据仓库的建设和分析数据的积累需要一段时间，无法及时满足用户对信息分析的迫切需要。因此在筹建数据仓库的前期，可以采纳一些合适的表现工具，在原有OLTP系统上建立起一个逻辑的数据仓库系统。尽管由于原有OLTP系统设计上的局限性，这样的系统可能无法实现很多分析功能，但这样一个系统中数据结构固定、信息分析需求相对稳定成熟，因此数据仓库的建模、实现过程会相对容易、便捷；同时，这样的系统也会成为将来真正数据仓库建设的原型。 信息系统与数据仓库的关系 由于数据量大、数据来源多样化，在商业银行构建管理信息系统时，不可避开地会遇上如何管理这些浩如烟海的数据，以及如何从中提取有用的信息的问题；而数据仓库的最大优点在于它能把企业网络中不同信息岛上的商业数据集中到一起，存储在一个单一的集成的数据库中，并提供各种手段对数据进行统计、分析。因此可以说，在银行使用数据仓库构建管理信息系统，既有压力，又有数据基础，它们之间的联系是必定的，难以割舍的。 数据仓库在商业银行的应用范围包括存款分析、贷款分析、客户市场分析、相关金融业分析决策(证券、外汇买卖)、风险预测、效益分析等。 在银行信息系统构建时，由于历史情况和现实需求的不同，存在两种途径: 1、建设新系统 由于目前国内商业银行对银行内部运营的监管，缺乏很好的数据搜集机制，因此可以在构建管理信息系统时，分数据收集录入和数据汇总分析两部分来考虑。这样的系统中由于不需考虑大量历史数据的处理问题，同时考虑到搜集过程中可能存在多个数据来源，因此可以在系统建设的同时构建数据仓