商业智能基础培训教程.ppt
商业智能基本概念,主题,商业智能技术介绍数据仓库技术介绍OLAP技术介绍数据挖掘技术介绍,BI基本概念（一）,什么是BI（Business Intelligence）?即商业智能技术，它以数据仓库（Data Warehousing）、在线分析处理（OLAP）、数据挖掘（Data Mining）3种技术的整合为基础，建立企业数据中心和业务分析模型，以提高企业获取经营分析信息的能力，从而提高企业经营和决策的质量与速度。,BI基本概念（二）,BI技术体系的互补性Data Warehousing集成各系统的历史数据，建立面向主题的企业数据中心OLAP灵活、动态、快速的多维分析、随机查询、即席报表Data Mining通过数学模型发现隐藏的、潜在的规律，以辅助决策BI技术体系的优势实现从宏观到微观、从广度到深度、从定量到定性各种层次的决策分析易用、灵活、动态、快速,商业智能的体系,商业智能技术体系（BIBusiness Intelligence）,数据整合集成各系统的历史数据，建立面向主题的企业数据中心,数据分析灵活、动态、快速的多维分析、随机查询、即席报表,知识发现通过数学模型发现隐藏的、潜在的规律，以辅助决策,更加全面、深入的分析形成知识库指导决策、再分析,系统整体技术框架,商业智能系统体系结构（一）,数据源数据源是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等；数据的存储与管理是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。,商业智能系统体系结构（二）,OLAP服务器对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。其具体实现可以分为：ROLAP、MOLAP和HOLAP。ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中；HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。前端工具主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。,主题,商业智能技术介绍数据仓库技术介绍OLAP技术介绍数据挖掘技术介绍,数据仓库定义,数据仓库的概念数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。,什么是数据仓库？,？,数据仓库的特点,面向主题操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。集成性面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。数据仓库的集成特性是指在数据进入数据仓库之前，必须对数据加工和集成，这是建立数据仓库的关键步骤，首先要统一原始数据中的矛盾之处，还要将原始数据结构做一个从面向应用向面向主题的转变.,数据仓库的特点,相对稳定的数据仓库反映的是历史数据，而不是日常事务处理产生的数据，数据经加工和集成进入数据仓库后是极少或根本不修改的，操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。反映历史变化操作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。,数据仓库的关键技术,数据抽取数据的存储和管理数据仓库的数据组织结构,数据抽取,数据抽取又为ETL（data extraction,transformation and loading）是对数据进行抽取、清洗、转换和整合的过程，是数据进入数据仓库的入口。通过ETL的过程，数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入到数据仓库。数据抽取在技术上主要涉及互连、复制、增量、转换、调度、监控以及数据安全性等方面。在技术发展上，数据抽取所涉及的单个技术环节都已相对成熟，市场上提供了很多数据抽取工具，例如Microsoft DTS、DataStage等。,数据的存储和管理,数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库的特性，同时也决定了其对外部数据表现形式。数据仓库的数据量比传统事务处理大得多，且随时间的推移还在不断累积。因此，对大量数据的存储和管理是数据仓库首先要解决的问题。不过从现有技术和产品来看，关系数据库经过近30年的发展，在数据存储和管理方面已经非常成熟，能够支持数据分割技术，能够将一个大的数据库表分散在多个物理存储设备中，进一步增强了系统管理大数据量的扩展能力。支持多维分析的查询模式，这也是关系数据库在数据仓库领域遇到的最严峻的挑战之一。,数据仓库的数据组织结构,数据仓库中的数据组织将多维结构划分为两类表：一类是事实表，用来存储数据和维关键字；一类是维表，即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。维表和事实表通过主关键字和外关键字联系在一起，形成“星型模式”。对于层次复杂的维，为避免冗余数据占用过大的存储空间，可以使用多个表来描述，这种星型模式的扩展称为“雪花模式”。,主题,BI技术介绍数据仓库技术介绍OLAP技术介绍数据挖掘技术介绍,什么是联机分析处理（OLAP）？,OLAP的定义OLAP(On-Line Analytical Process OLAP)是使分析人员、管理人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映数据维特性的信息，进行快速、一致、交互地访问，从而获得对数据的更深入了解的一类软件技术。(OLAP委员会的定义),OLAP的目标与思想,OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合，是数据仓库中大容量数据得以有效利用的重要保障。OLAP基本思想企业的决策者应能灵活地操纵企业的数据，以多维的形式从多方面和多角度来观察企业的状态、了解企业的变化,相关概念(一),元数据元数据（Metadata）是关于数据的数据，它描述了多维数据库的数据和环境。它是对源数据及其内容、分析主题、维信息、指标信息等多维数据库结构信息的描述。主题：在OLAP分析中，用户所关注业务的一个考核方面；如：电信行业中可能的客户信用度分析、客户帐务、话务量分析等，而分析类型相近的主题可能会划分在一个分组中。维：在OLAP分析中，维是作为主题的一个分析角度，比如：客户分析中对其年龄、性别、所在地区、行业分布等因素有关，这样，地区和行业等就是该客户的维。,相关概念(二),层次：在一个维中，划分各成员之间的父子关系的方式，称层次；如时间维通常可分为年、季、月、日等层。成员：特定层次中的某一特定元素，称为该层上的一个成员；如“JAN”为时间维月这一层次上的成员。指标：一种考核标准，由多个因素（维）共同决定，如：某个时段的话务量、话务员坐席数等；有时指标也称为测量值。上钻：通过上钻，可以查看所选维成员的上一级聚合值，即显示该成员的父级数据；如在“05JAN99”这个成员上执行上钻，可以查看99年一月份的数据。下钻：与上钻相反，该操作是实现从父级信息查看下一级的详细数据，即从“JAN99”执行下钻后，可以看到99年一月各天的数据；,相关概念(三),层钻维通常是以一种层次关系展现出来的，要查看某一层次上所有数据时，可以使用层钻，比如时间维通常分为年、季、月、日这些层次，要查看所有月（包括所有年的各个月份）的数据，则可在月这一层次上执行层钻；旋转对一次查询的返回结果中，把数据表的行和列调换位置，即转换分析点或观察角度。切片以分页的形式列出某一范围内的数据，一页里只显示切片维的一个成员内的数据。切块获取多维数据集中数据的一个子集，由维度的成员限制一个或多个维度来指定。多个切片构成一个切块。例如，特定月份的事实构成该年数据的一个切片，那么该年多个月份的数据集合就是一个切块。,OLAP功能示意,主题,BI技术介绍数据仓库技术介绍OLAP技术介绍数据挖掘技术介绍,数据挖掘技术(Data Mining),DM的定义数据挖掘(Data Mining)是从浩如瀚海的数据和文档中识别出有效的、新颖的、潜在有用的以及最终可理解模式的高级处理过程。也就是说，从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。DM的特点涉及数据库、统计分析、人工智能多种技术预测和验证功能 特征和规律描述,数据挖掘模型,分类模型：把数据进行分类，并发现各类数据的共同属性，当然也可以分析一些本身就相关的数据，了解各个数据之间关系的紧密程度。预测模型：根据预测算法综合分析被预测指标将要发生的数值，目前提供两种预测方法时间序列预测法和多元线形回归预测法。聚类模型：将一组未分类记录按需要进行分类。评分模型：以专家的经验和知识为基础，对于给定的分析主题和评价对象，选取相关的多个评价对象的描述指标（属性），按照一定的方法对每一个指标进行评分，最终得出对于评价对象的综合评分。,
