数据虚拟化技术手册.docx
IBMtS术ForDummies,Denodo出版商：妁翰威利父子公司；地址：英国酶眩克斯郡奇切斯特区南门中庭：网址：©2021西萨塞克斯郡奇切斯特区约翰威利父子公司版权所有注册地址英国西萨塞克斯郡奇切斯特区南门中庭约翰威利父子公司，邮政编码：PO98SQ保留一购J.辉出版商方先书面椰F,不1崛熔出板物的任何部分,或者将其保存于检索系统,或者以电子.WStL影印、录阖、扫描等形式或方式传输，但是根据(1988年英国版权、外观设计及专利法之规定获得准许的情况除外.关于如何申i再次使用书中版权资料，请杳看我IiJ的网站：http：/商标：城利(Wiky)、傻瓜版(lrDummies).傻瓜版人像标识(DummiesMan).傻瓜版之路(TheDummiesWay).LX.让一切变得更简单(MakingEverythingE欣CT)以及相关商业外观,均为约翰威利父子公司和或其在美国以及其他国家的关联机构所持有的普通商标或注册商标，未注书面许可，不得使用.Den<k>或DenodO标识系DenOd“技术公司的普通商标或注册商标.所有其他商标均归相应所有权人所有.约翰威利父子公司与书中提及的1五吩咂或供应商不存在任何关系.保证责任限制J费任免脓汽明尽管出版商和作者在给马本书过程中尽到最大努力，但对书中内容的准确性或完整性不做任何声明或保证,尤其对于本书的适俏性或对特定用途的适合住,声明免S任何暗示的供证货任.本书的传宾基于以下共识：出版前不提供任何专业服务,并且出版商和作者均不承担任何专业服务所产生的损害赔偿责任.如果您需要获汨专业建议或其他专京协助，应当寻求适格专业人士提供的股务.如果您想了解我们的一股产品和服务信息,或者如何为您的企业或蛆织定制=orDummies系列图书，谓联系我们设在美国的业务开发部，电话：8774O94I77;电子邮件：InfoGdununies.biz；网址：WWWISBN978-l-l19-74813-7(pbk):ISBN978-l-l19-74814-4(cbk)英国印刷10987654321出版商鸣谢我们为本书及其贡献者感到自豪.关于为您的企业或组织定制ForDummies图书的详细内容，请联系：infoduiranies.biz,或者访问：Dcnodo审稿团队：保罗莫克森、帕布鲁 艾瓦莱兹、拉维沙恩克、拉克什米 兰德尔、贝基史密斯、艾米弗利潘Ie为本书上市做出贡献的部分人员如下：项目编辑：马丁V,米纳联合出版人：卡蒂摩尔编辑经理：列夫门格尔业务发展代表：弗雷泽霍萨克制作编辑：塔米尔马尼瓦拉哈拉吉引言断增长的雌量，以及日益增多的雌类型给企业带来了打蛾随着大数据的到来和信息渠道的激增，企业必须存储、发现、访问和共享fi91酶源.同时，只有大量多样化的数据源得到实时或准实时的整合，企业才能实现更多业务机会。在今天复杂的数据环境下，由于数据访问的成本和延迟，要把数据从无数个数据源复制到中央数据库已不再可行.虽然云存储架构有一定帮助，但云存储架构仍然是建立独立的数据孤岛，这种数据孤岛无法与传统数据仓库等系统实现无缝整合.数据虚拟化技术是一种现代化的数据整合方法。它可以根据消费应用程序、流程、分析工具或业务用户的需求，实时或近乎实时地提供受信商业数据的简化、统一和整合视图，从而超越了彳撇技术的局限性关于本书数据虚拟化技术ForDummies,DenOdO专版共分七章,分别探讨以下内容：»数据孤岛、数据过载、监管合规等带来的到破（第1章）»什么是数据虚拟化技术？数据虚拟化技术对业务有哪些帮助?（第漳）»数据虚拟化技术的用例（第3章）»数据虚拟化技术如可帮助实现大雌解决方案（第4章）»云上的雌虚拟化技术（第5章）»如丽启翻网融化技术（第6章）»辘虚拟化技术枷识要点（第7章）引言1傻瓜式假设有人说，大部分假设条件都失去了实用价值，尽管如此，我仍然要做一三三!假设您是企业数据的使用者或管理者，例如：»数据仓库管理员、数据工程师或数据库管理员，负责快速、安全、经济地向企业提供数据»数据分析师或数据科学家，需要快速、可靠地访问大量多样化数据集»商业用户，需要定期访问数据，以借助最佳可用数据，做出明智、及时的决策书中使用的符号在书中，我会偶尔使用一些特殊符号来标记重要信息。这些符号如下：伟讣对于该符号指向的信息，您应当把它们牢牢记住口把这些信息与纪念日Cy和生日T牢记！记住偲龄虽然这里没有人类基因图谱那么复杂的知识，但如果您想做一名技术达遗7人，您一定会为其中的内容欣喜不已！该符号解释的是行话中的行话。技术内容彳小诀窍可遇而不可求，我也希望您能欣赏这些真知灼见。该符号指向的',V是有用的、宝贵的信息L提示（i警告符号虽然不由得让人想起老妈的告诫（当然，可能并不是），但这部分内容其实包含实用建议，可以帮您避免那些代价高昂或令人沮丧的鳖告失误。本章提要“消灭企业的数据孤岛“处理不同的数据源和数据类型“理解监管合规需求“学习赚虚拟化技术的鬼蜘识第1章无所不在的甥居本章，您将了解现代数据挑战，其中包括数据孤岛、异类数据来源和类型，以及监管合规.另外，您还将了解数据虚拟化技术是什么一以及不是什么。数据孤岛数据孤岛是一种无法在系统和应用之间轻松共享的数据源，多年来一直困扰着IT和业务领域。企业内部存在数据孤岛的原因多种多样，例如：»旧的遗留系统难以兼容现代系究»本地系统鹿以兼容云上系统。»随着现有系统逐渐耗尽存储能力或由于性能下降，多年来企业部署了多个异类存储系统。»有些系统仅能兼容特定应用。»有些系统的配置仅允许特定个人或团组访问.»企业相互兼并时，各自系统配置不同.数据孤岛使业务用户难以访问和分析企业内部所有可用数据。数据孤岛可能会导致结果或结论的不准确，以及由于数据不完整或不完善而导致决策延迟.由于缺乏单一的真实数据来源，这使得人们对数据的准确性产不疑.管理数据沼泽对今天任何企业而言，管理大量数据都充满挑战。不仅是数据的数量，企业还必须管理多种数据类型口包括结构化数据、非结构化数据及半结构化数据，并且这些数据类型还来自多个数据源。这些不同的数据类型必须经常从数据源抽取出来，转换成不同的格式后，加载到消费应用程序上（这一过程被称为“抽取T换一加载"（ETL）,然后企业才能使用这些数据类型。ETL流程（在第2章讨论）往往是脚本化流程或手工流程,需要IT部门的协助，以计划分批处理的方式进行，这个过程缺少灵活性，还会带来更多的复杂性和延迟.满足合规要求新的法律法规规定了数据保护要求，这对于各个行业的企业而言是一个持领、高邮威。簿健康保险的转与朗£去（HIPAA）,美国格拉姆利奇一比雷法（GLBA）、力獐大个人信息彳耕与电子文档法（PIPEDA）等，都针对某些企业和行业，设立了数据隐私、保护及保留要求。最近，欧盟通用数据保护条例（GDPR）于2018年5月25日生效.所有服务欧盟公民的企业，无论企业所在地，都被要求遵守该条例.通用数据保护条例详细说明了企业必须采取的保护个人信息的措施.未能遵守该条例的公司，不仅要面临高额罚款，还要面临法律诉讼和额外审计。为遵守该条例，公司必须证明：»个人数据的处理方式合法、公平、透明.»个人数据的收集目的特定、明确、合法.»个人数据的收集范围仅限于缄处理的必要范围。»个人数搞襦准确和最新。»在个人数据的保存上,确保数据主体仅在必要时才被识SIL»以安全的方式对个人数据进行处理，以确保个人数据不会落入外人之手，或发生丢失、损失或销毁.»个人数据得到特意保护.所有新系统的开发都必须要考虑数据隐私.公司需要能够全面了解自己的所有数据，还需要通过一定方式，通过单点对整个基础架构实施安全控制.数据虚拟化技术提供了这种能力，让企业能够快速、方便地满足数据保护法规的要求，同时又不必投资于新的硬件，也不必从零开始重建现有系统.什么毁据虚拟化技术？数据虚拟化技术根据消费应用程序、流程、分析工具或业务用户的需求，实时或近乎实时地提供受信商业数据的简化、统一、整合视图.数据虚拟化技术在不复制数据的情况下，将来自异类数据源、异类位置和异类格式的数据进行整合，从而创建了一个单一的虚拟数据层，这个数据层能够提供统一的数据服务，为多个应用和用户提供支持（参见图1-1）.这样就可以更快地访问所有数据，减少复制和成本，墩睡更的敏捷性。MMM巨郦WM.Bio图1-1：数据虚拟化技术将来自异类数据源、异类位置和异类格式喇鼬行整合.为多个应用和用户提供支持.大部分数据整合解决方案都是将数据副本移到新的合并数据源，不过数据虚拟化技术却提供了一种完全不同的方法。数据虚拟技术没有移动数据，而是提供一个数据整合视图，让数据源保留在原来的位置。企业不必支付数据的移动和存放费用，但却可以获得数据整合带来的优势。数据虚拟化技术不仅能够实施与传统数据整合技术相同的许多转换和质保功能例如，ETU数据复制、数据联邦、企业服务总线（ESB）等，而且能够借助现代技术，以较低成本，更加迅速、敏捷地提供实时数据整合。在许多情况下，数据虚拟化技术可以取代传统数据整合技术，并且减少对复制数据集市和数据仓库的需求。另外，数据虚拟化技术还构成一个数据抽象层和数据服务层。从这个意义上讲，无论是在本地部署还是在云上，数据虚拟化技术都能在原始和衍生的数据源、ETLxESB等中间件、应用及设备之间发挥很高的互补作用.数据虚拟化技术提供的主要能力如下：»逻辑抽象和解耦：异类数据源、中间件及消费应用程序使用或预期使用的特定平台和接口、格式、图式、安全协议、查询范式等特征，现在能够通过数据虚拟化技术，方便地进行交互.»强化数据联邦功能：数据联邦原是数据虚拟化技术的一个子集，但现在有了智能化实时查询优化、缓存、内存及混合策略等能力的加持，能够根据数据源的限制、应用需求及网络意识，自动地(或手动地)僻这些能力.»结构化与非结构化数据的语义整合：数据虚拟化技术能够将非结构化Web数据的语义理解对接到结构化数据的图式性理解-数据虚拟化是将非结构化和Web数据的语义理解与基于结构化数据的基于模式的理解联系起来的少数技术之一。»敏捷的数据服务开通：数据虚拟化技术提高了应用编程接口(API)的经济性。无论是原始雌源，还是衍±、整合或虚拟的数据源，都可通过不同于原始格式或协议的其他格式或协议进行访问，并且能够在几分钟内即可实现受控访问。»统一的数据治理和细粒度安全性，具备完衢S核能力：数据虚拟化技术可以通过本地和外部系统之间建立单个统一的访问层，以此对保存在多个系统上的敏感客户信息实现细粒度安全控制.通过单个的数据虚拟化层，可以发现并方便地整合所有数据，从而更快地暴露冗余和数据质量问题.数据虚拟化技术提供了从数据源到输出数据服务的模式性治理和安全能力，保证了数据整合与数据质量规则的一致性。当数据消费者需要访问数据源时，可通过数据虚拟化层进行访问，数据虚拟化层包含每个数据源的元数据，能够实时地为数据消费者返回安全、虚拟的数据视图,这些视图是可追溯和可稽核的，并且仅提供给获得授权缄据消费者。»消除不必要的数据移动：有了数据虚拟化层，就无需再为报告目的进行数据复制，也不必再重写抽取、转换和力瞰(ETL)脚本。数据虚拟化层使用企业现有的基础架构进行操作，并且配置方式安全相同。数据虚拟化层仅抽取访问功能，因此用户感觉数据仿佛存在于单个的虚拟数据库.不过，如果出于性能原因必须保留数据，则数据虚拟化工具还提供了简便的保留数据集的方式,只需启用某些模式设置即可。数据复制功能只是另一种选择，而不是必需的。»完整的数据沿袭和敏捷的业务规则：在由可时间点，公司都可以了解和报告任何敏感数据集的完整数据沿袭，包括其原始来源，所有视图和所有修改。另外，通过数据虚拟化层，企业还能建立复杂的规则来自动实现合规性，包括在系统运转的情况下设置数据屏蔽，以免相关虢被缺少必要凭证的用户有看.由于这些规则被应用在数据虚拟化层中，因此可以在不同类型的系统之间快速有效地应用它们.»保证静态数据和动态数据的安全：数据虚拟化层可以在任1可级别(例如访客，员工或公司)执行基于角色的身份验证；应用特定于数据的权限，包括行级和列级屏蔽；并定义架构范围的权限和基于策略的安全性。虚拟化层通过安全套接层/传输层安全性(SSL/TLS)协议来保护传输中的数据，并通过诸如轻量级目录访问协议(LDAP),KerberOS传递,WindowsSingleSign-On(SSO),开放授权(OAUth)f简单和受保护的GSS-APl协商机制(SPNEGO)即瞬正，C)AUth和SAMLX分9miRJava数据库连接/开放数据库连接(JDBC/ODBC)安全性等业界公认的协议对用户进行身份验证。»通过制度设计，保障隐私：此外，数据虚拟化技术还非常适合帮助企业遵守通用数据保护条例规定的"制度设计"保护要求.根据定义，数据虚拟化层不需要数据源必须是规定的类8IK据图以化技术ForDummies,Denodo专版型，或者必须只能通过某种方式访问.将新源连接到数据虚拟化层，可以轻松地将其添加到基础架构中，无论数据源技术如何，新源都将立即受到与系统上任何其他源相同的安全控制和可审雌数据虚拟化技术将来自异类数据源的信息抽象和整合后，实时提供给多个应用程序和用户。另外，数据虚拟化层也便于搭建、使用和维护。要搭建虚拟数据服务，用户只需遵循以下三个简单步骤（参见图1-2）：»连接数据源，进行虚拟化。利用系统提供的连接器，快速访问异类的结构化数据源和非结构化数据源.内有其元数据，并在数据虚拟化层上，以标准源视图的形式公开这些元数据。»与业务数据视图进行合并和整合。通过图形用户界面（GUI）或文档化脚本，将源视图合并、整合、转换、清理，形成规范的、模型驱动的业务类照视图.»连接并保护数据服务.可以保护任何虚拟数据视图并将其发布为SQL视图或许多其他缄月艮务格式。商业视图B1-2:搭建副邀剧6务.数据虚拟化技术不是什么一些供应商会使用当下流行用语，利用数据虚拟化技术的普及，来营销自己非数据虚拟化技术的产品。为消除混乱，请记住数据虚拟化技术并不是下面这些概念:数据可视化：虽然听起来相似，但可视化"是指僦据向最终用户展示为图表、图形、图示、报告等图形形式。数据虚拟化技术是一个“中间件"，它为其他数据可视化工具和应用程序提供数据服务。虽然对用户和开发人员而言，数据虚拟化技术有部分可视化能力，但这并不是数据触1化技术的主要用途。复制数据的储备库：在正常情况下，数据虚拟化技术不会将源系统的数据保存或复制到数据虚拟化层。数据虚拟化技术仅为虚拟视图和整合逻辑储存元数据。如果启用了缓存，它会将部分数据暂时地保松腰存或内存雌库0如果需要,也可保存颉数据，只需使用ETL,将其作为数据源进行调用即可。因此,数据虚拟化技术是一个功能强大，但又是轻级S雌的解决方案.逻辑数据仓库：逻辑数据仓库是一个架构概念，而不是真正的平台。数据虚拟化技术通过将多个数据源、数据仓库和大数据储备库（例如HadooP）等合并在一起,以创建一个逻辑数据仓库，数据虚拟化技术是创建逻辑数据仓库的核心技术之一。数据联邦：数据虚拟化技术是一个包含高级雌联丰造能力在内的超大集合。虚拟化数据存储：有些企业和产品虽然也使用“黝S颜化技术"T司，但指的是虚拟化的数据库软件，或存储硬件的虚拟化解决方案。他们并没有跨异类结构化数据源和非结构化健源，提供实时的娄照整合与雌月躇.战化："虚拟化”一词单独使用时，通常指硬件虚拟化口服务器、存储盘、网络等.10虚拟磁术ForDummies,Denodo专版此为©2021JOhnWiIey&Sons,InC蝴.F1播.脓本章提要“ETUESB,嬲酬化的优势和劣势评估“传统数据整合技术与数据虚拟化技术的结合“数据酬I化技术实现业务敏捷性“授权商业用户自助访问实时数据第2章数据虚拟化入门本章，您将了解一些传统的数据整合技术，例如，抽取、转换和加载（ETL）流程和企业服务总线（ESB）架构，还将了解数据虚拟化技术如何补充这些传统的数据整合技术、如何实现业务敏捷性，以及如何让业务用户自助服务变成现实。超越传统的数据整合技术数据孤岛（在第I章讨论过）的问题在于，没有任何人能够轻松地杳询所有可用数据,相反，每个数据孤岛都必须单独查询，然后必须手动合并查询结果。该流程不仅耗费大量成本、时间，而且效率低下。为了整合数据，通常企业会采用以下一项或多项数据整合策略：»抽取、转换和加载（ETL）:该流程从不同数据孤岛中复制数据，然后将这些数僻专移至中央位置（例如，数据仓库）.»企业务总线（ESB）:可为应用程序建立通信系统，使其共享»数据碘化：该技术为数据孤岛内的数据创建实时整合视图，并且可以把数据提供给应用程序、分析人员和业务用户。抽取.转换和力|载（ETL）抽取、转换和加载（ETL）流程是最早出现的数据整合策略，于20世纪70年代推出.基本的ETL流程遵循以下三个步骤：1.螭源艇啜三1.2.将抽取出来的雌副本例嫩最终目的地所需的格式口结构。提示记住3将转换后的数据副本加载到最终目的地，例如，运营数据存储区、雌集市或雌仓库。有些流程会把转换环节放在最后一步，因此ETL流程也被称为"ELT"流程，但基本概念相同0ETL流程的优点和缺点包括：»优点： ETL流程在转移大量数据fl拂率高、效果好。 磁术得S!三有供应商很好fi三解f口支持. ETLT具的一些特征足够支持大块/批殿期移。 大部分企业都拥有内部的ETL能力。12数据虚拟磁术ForDummies,Denodo专版»缺点： 转移数据并不总是最适合的办法，因为这会形成新的数据储备库，井叫做备库触须得至!三户。 如果是大型企业，则每晚要运行成千上万个ETL流程，并通过难以修雌脚谢亍同步。 通常，ETL流程不具有协作性；最终用户必须等待数据准备*5l2o ETL流无温h壁沃M大量数据和复杂穗据姬。企业服务总线(ESB)ESB在2002年推出，利用消息总线在应用程序之间交换信息。消息总线实际上充当应用程序之间的转换器，通过消息总线实现应用程序的通信。ESB使系统解耦，并允许它们在不依赖或不知道总线上其他系统的情况下说通信。(参见三2-l).企业版JaVa 2平台应用数据库打包应用程序和遗留系统ESB是面向服务的体系结构（SOA）的基础；在SOA架构下，应用程序能够在整个企业范围内轻松地共享服务。ESB产生于人们想要摆脱点对点整合方式的需求，因为这种点对点整合就像ETL脚本一样，很难长时间进行绸ESB架构的优点和缺点：记住»优点： 可利用海息流来统合业务逻辑。 ESB是成熟技术，得到现有供应商的却。 ESB可以通过肖息来触发事件，处理各种运营情境。»缺点： ESB不能整合应用程序粉g,无法解决分析用例. 直询方式是静态的，只能设置直询计划；不能方便地支持临时望旬。 每次数据库查询，只能查询一个数据源。数据对接及其他多数据源功能在内存中执行，这会耗尽资源。 ESB只适合月陛涉及小型球集的操作用例。数据虚拟化技术数据虚拟化技术可从不同的来源、位置和格式中抽取数据创建整合视图，数据虚拟化技术无需复制数据，并将这些整合视图实时交付给多个应用程序和用户。数据虚拟化技术能够广泛提取多种结构化、半结构化和非结构化数据源，还能够将数据广泛提供给多种消费者。由于不涉及复制，因此数据虚拟化层不包含任何源数据；它仅包含访问每个相关数据源所需的元数据，以及企业想要实施的任何全局指令，例如，安全性或治理控制。14术ForDummies,Denodo专版用户和应用程序查询的是数据虚拟化层，数据虚拟化层则从各种数据源那里获得数据（参见图2-2）数据虚拟化层使用户和应用程序摆脱了访问的复杂性。对所有消费者而言，数据虚拟化层就像是单一的、统一的数据储备库.将相关 数据合并成视图E连接 异类 数据源E在商业应用中消费B 2-2 :数据虚拟化连接异类数据源，将相关雌合并fi据视图，再面向所有数 据消费者，锁据发布给应用程序.那些能够定义真正数据虚拟化平台的基本属性如下：»适合任何数据源或数据类型的通用数据访问能力：数据引擎自动地连接内外部数据源和数据类型（包括结构化、非结构化及WetOTg）,并且自动地导航和抽取数据。»统一的虚拟数据层：利用整合建模和执行环境，建立功能强大的转换和关系；利用通用的元数据和语义，跨异类数据源类型执行数据的标准化、转换、提高质量及建立关联关系。扩展后的关系数据模型允许异类数据类型在虚拟层有原生代表，从而最大程度地减少工作量并提高性能。»通用数据发布能力：合并后的信息被发布为可重复利用的数据服务，这种雌月奥可以有多种格式，例如，SQL查询、简单对象访问协议（SOAP）、表述性状态转移（REST）,以及开放式数据协议（OData）Web服务、消息传递、移动信源、关键字搜索等。另外，还支持面向消费应用程序的混合交付模式（例如，翻I实时、缓存、批处理及消息等模式）.»鼬！的高性能：高级实时动态优化功能在智能缓存和计划批处理功能的加持下,可适用于灵活的混合工作负载。支持企业级可靠性和缩放性的读写访问能力口甚至适用于Web和非结构化缄源。»统一数据治理能力：通过内建的工具和仪表，以及整合的外部数据管理工具，可实现全企业范围的单一入口点，用于数据和元翻三管理、安全、稽核、日志及监控»敏捷地开发全方位的自助数据服务：应用的开发人员和业务用户看不到问题的复杂性。消费应用程序与数据源被分离，数据服务的创建、扩展和使用变得更加方便.记住数据虚拟化的优点和缺点包括：»优点： 在两个或多个异类数据源（包括结构化和非结构化嘘源组合）之间建立无算的数据联邦（使这些数据源无论是外观还是功能，都像T源） 提供一些增值功能，例如，智能化实时酗优化、缓存、内存处理，以及根艘据源限制、应用程序需求及数据量，自定34尤化策略。 无论是原始数据源，还是衍生、整合或虚拟的数据源，都可采用不同于原始格式或协议的其他格式或协议，通过应用编程接口（API）进行访问，并且能够在几分钟内实现受控访问。 所有数据都可通过单个虚拟层进行访问,虚拟层能够快速基露冗余、连续性及数据质量等问题，还能实现应用程序的通用端到端治理和安全控制。16黜神醐I他沐ForDummies,Denodo专版.提供数据目录能力,以增强数据管理，并支持数字化市场、数据治理、风险管理及合规（GRC）以及数据即服务等商业项目。»缺点：,缺少对复杂的大量/批量数据流的支持，这在一些用例中可能是必需的口例如，具有多个目标的条件数据流、多通循环、代理密钥管理等。表2-1所示为各种用例最适合的数据整合策略。表2T数据整合用例及策略用例数据虚拟化ETLESB将数据转移至尬业数据仓库或操作数据存储区X将企业黝S仓库迁移到云上XX数据统一X720度客户视图X实时深度报告XX虚拟数据集市X物理蜂集市X企业城仓库等数据源的灵活蜘报告X逻辑数据仓库X数据仓库卸载XX应用同步XX元数据的发嬲口丰富X自助服务分析XETL种子（ETL与数据源解耦）X事件驱动性工作流X补充ETL和ESB的不足数据虚拟化技术广泛支持各种数据源和目标，这使其成为补充ETL和ESB不足的理想数据整合策略。ETL流程的设计是为了将数据转移到数据仓库及类似环境中,并且ETL尤其适合这种任务。不过，ETL流程不能方便地支持云上的数据源。数据虚拟化能够在以下方面，补足ETL流程：»在本地无缝连接云上数据源,无需将数据合并到单个储备库。»在不中断业务连续性的情况下，实现本地系统向云上系统的迁移。»在数据仓库卸载过程中，数据御以化不仅能够帮助卸载，还能够跨传三爆仓画口新演据储备库(例如，Hadoop.AmazonWebServices(AWS)S3或云上雌存储区)统一»对异类数据源进行实时整合。»如果需要提高数据访问速度，则可使用数据虚拟化代替ETL流程。数据虚拟化还可补足ESB,并增强ESB的性能.向ESB添加新数据源可能很复杂；ESB支持的SOA架构不能立即启用关系数据库、Web或云数据源、平面文件或电子邮件等.为了简化此流程，所有ESB不能处理的数据源都可以在传递给ESB之前由数据虚拟化层统一。这种架构充分利用了两种技术的优势：数据虚拟化技术统一异类嘘源；ESB传送关键消息来却业务流程.交付更快速现代企业要求快速访问最新、最准确的数据，以制定战略决策、预测客户需求并保持领先于竞争对手.如果多次进行物理转移、存放和储备数据，这不仅需要资金，而且在必要做出变更时，会减慢企业的应变速度。许多ETL流程（在本章前面已讨论过）通常都是手动的，可能引发代价高昂的失误并拖延了对数据访问速度。通过网络链路在多个数据源之间谢亍复制，会进一步勒睡迟、数据虚拟化技术能够实现高速数据架构，例如，逻辑数据仓库、虚拟数据集市、自助商务智能（BI）及操作分析系统。通过聚集在各种源系统的最新数据，同时又无需物理转移数据，靖虚拟化技术帮助IT组织快速地交付数据，以供业务用户在其商务智能系统中使用.对物理转移数据的需求，是造成传统数据架构发生数据延迟的罪魁祸首记住FT环境也变得越来越复杂和分布化，随着企业采用数据存储区和云解决方案，它们也创建了越来越多的数据孤岛.数据虚拟化技术通过用于高级数据分析和数据仓库卸载的快速数据架构，来应对这种数据泛滥。这种架构使IT部门可以利用大数据和云解决方案带来的较低成本，同时通过实时访问显著缩短娄据的交付时间。期三服务对应用程序开发的重要性与日俱增.数据虚拟化技术可利用统一的数据服务层，为来自底层数据源的所有结构化和非结构化数据创建一个逻辑数据抽象，以此实现快速应用程序开发。彳01借助数据虚拟化技术，IT组织能够在不到半天时间里开发完成数据服',Vy务，而传统a矮据整合办法（例如，ETL）则往往需要一到两周的时间。提示单视图应用程序（例如，客户、产品、库存等）通过快速响应时间提高呼叫中心我理人的效率；同时还能通过针对性的活t）提高销售和营销团队的效率。数据虚拟化技术通过虚拟地实时集合不同的基础数据，为这种单视图架构提愁湍，同时既无需复制数据,也无需集中存储及管理数据。为了同时支持面向数据的用户和面向业务的用户，数据虚拟化技术能够提供方便易用、但又不简单的数据建模环境，用于数据访问、数据管理和数据服务交付。数据虚拟化技术可通过以下方式，帮助团队和业务用户快速响应高速变化的需求：>>提供整合开发环境，同时满足FT组织和业务用户的需要，该环境提供用户友好的拖放式、低代码开发集成工具，满足面向数据的团队的需求（例如，数据工程师、高级用户、集成商等），他们只需单击几下鼠标，就能发布数据服务。»提供综合业务视图目录，根据业务类别对这些视图分类和标记，以方便用户浏览和导航；发现数据集之间的关系；对元数据和数据本身进行搜索，以正确验证数据集；检直树状视图和详细的谱系信息；并导出查询结果。»为雌源和目标系统预先搭建连接器程序，以便IT组织迅速连接到异糊据源并确保最圭性能»灵活的数据交付方式，一键式发布功能强大的REST和ODataWeb服务.让自助服务变为现实自助分析能力是人们长期追寻的灵丹妙药，它解放了业务用户，让他们能够在没有IT组织协助的情况下执行数据分析；它也解放了IT组织，让他们能够有更多时间专注于其他战略性业务项目.今天，许多桌面分析工具使用户能够对数据进行交叉分析，并将数据在各种功能齐全的报告和仪表板中呈现。不过，数据层面存在的几个关键挑战，阻止了自助分析能力的实现：»数据碎片化：数据广泛分布于多个异构数据库、数据仓库、云和柳据NoSQL数据城平面文件.»多重高维护性数据整合方案：当业务用户需要跨多个异类数据源进行查询时，公司往往要求IT组织利用ETL流程，创建临时性的点对点数据整合.如果某个数据源必须更改，则ETL流程必须重写，这既昂贵又耗时。»数据延时：如果使用遗留辘整合流程，可能需要耗时数月，才能交付所需数据，从而增加了数据不准确或不相关的可能性。»数据不够完整：由于缺少单独的真实数据源，业务用户可能在无意中使用了权威性较低的数据源，从而导致数据质量受到质疑。»数据沿袭不可追蹄：如果用户直接从数据源收集数据，他们可能无法准确记录数据的来源，从而影响他们判断数据质量的能力，并且进一破坏雌的可信度。数据虚拟化技术克服了这些挑战，让业务用户使用自助服务变为现实：»碎片化数据被无缝统一。有了数据虚拟化层，那些跨众多系统以各种格式存在的数据，在用户看来，就像位于单一的、易于谕可备库一样。»高维护性数据整合被单独的低维护性数据虚拟化层取代。不同于遗留嘘整合技术（例如，ETL脚本），数据虚拟化技术无需进行大量的修改，即可轻松适应对源数据的更改。»由于数据可以实时访问，因此数据延迟几乎不复存在。甚至跨多个异类糠源的数据整合视图也可以实时交付给用户。»保证数据完整性。由于所有数据源都通过数据虚拟化层进行访问，企业可以利用数据虚拟化层来建立强大的治理协议，并指定权威的数据源。»数据沿袭完全可追踪。由于所有的数据都要经过数据虚拟化层，因此从用户到嘘源，可以实酬据沿袭的完整追踪。数据虚拟化技术提高了操作效率，降低了成本和复杂性，最大程度减少数据复制，并促进了数据的可重复利用性和协作性。通过为业务用户提供自助服务，数据虚拟化技术在数据的访问和整合上，进一步减少了对有限IT资源的依赖，从而使企业能够加快决策速度和产品上市时间。数据虚拟化技术也允许复制数据，但仅限在必要时才允许复制.提示本章提要“实现自助式商业智能“提供优质客户体验“加强数据治理和安全“把数据源作成数据服务第3章探娜据虚拟技术化的用例熟辘而舞见的数据虚拟化用例，以及现实世界里的数据虚让蝴性商业智能（BI）变为现实数据虚拟化最常见的其中一个用法是用于敏捷性报告、操作性商业智能（BI）以及实时数据仪表板，这些领域要求及时地汇总、分析和展示来自多个数据源的、最具相关性的数据,无论是一股个人还是管理人员，都必须进行性能监控，以帮助在关键性业务流程做出日常运营决策，例如，销售、支持、生产、物流、财务、法务及合规等。余、面对这种对可操作信息的几乎无法满足的需求，数据虚拟化技术让IT组（吧）织能够更加灵活地做出响应。通过数据虚拟化技术，数据保留在源数据'J存储区。复制及其所附带的阶段、转换和批量复制工具及流程，都不需要了.数据访问通过虚拟视图来实现，这种虚拟视图可以快迅创建（并且根据需要可以将其丢弃）.同样，甥g变更也同样迅速，这使得迭代报告和仪表板的创建成为现实，而商业利益相关者几乎可以立即参与并提供反武对于敏捷性商业智能项目,数据虚拟化技术带来的优势包括：»显著减少复制：用户可以从数据虚拟化层指向原始辘源、部分缓存数据并搭建"虚拟数据集市"（在雌虚拟化层中定义）,从而可以避免创建新的数据储备库（以及更多数据副本）.»让更改视图更方便并且提高对业务请求的响应能力：视图更改在数据虚拟化层中进行，从而避免了在整个复制链条中修改ETL»让操作性商业智能系统能够实时访问数据：通过对操作系统的直接访问，数据虚拟化技术向消费应用程序传送数据的速度显著高于传统的数据整合办法.»整合任何数据类型：无论是半结构化数据，还是非结构化数据,数据虚拟化技术都能无缝地整合所有雌源的数据.»实现自助式商业智能：通过IT组织创建和管理的自助式数据服务，用户能够运行任何报告；有些安全和治理系统虽然号称提供自助服务，但又设置种种障碍，数据虚拟化技术减少了这些系统所造成的管理和治理难题。数据虚拟化技术助力费斯托公司的数据革命费斯托公司致力于提高流程型生产公司生产率和竞争力，为它们的数字化转型铺平道路。该公司在创新节能技术、直观性人机协作及高级培111基础上，开发面向未来的产品，并且已骸现工业40的许多方面，业务需求创新一直是费斯托公司的重中之中，为了继续创新，该公司需要优化操作效率、自动化生产流程，以及为业务消费者提供按需服务。其中包括寻找更喈能化6访法，简化公司的雌整合与分析方式。另外，还要寻找敏捷性解决方案，帮助公司能够更好地利用面向客户的数据产冰掰1不仅如此，费斯托公司还需要其商业用户在数据报告和分析方面自给自足，减少对IT组织准备和提供所需数据的依赖性.另外，费斯托公司的商业团队还启动了战略性项目以最大程度地提高能源效率，并且他们需要向车间团队直接提供有关能源使用情况的即时能见度。不过，费斯托公司现在正面临着巨大的挑战,它要寻找一种敏捷强大的方法来整合来自现有数据孤岛（包括数据仓库、机械数据源及其他数据源）的数据，从而减轻商业用户对于IT组织的依赖性，提供业务用户所需的快速转向能力和灵活性。解决方案费斯托大数据团队开发了一个梯据分析框架，该框架提供了他，够跚睡璐三好持（参班海）通强DenOdO平台，该框架整合了来自大量本地系统和云上系统的数据，包括流数据、机械数据和静态数据，并且提供了对整合数据的实时访问。该框架建立了统里的要求另外，Denodo平台还消除了复制数据的需求，因嶂高了效率。数据仍然保留在源数据存储区，并且可以通过以业务为中心的就视图进行访问。TH方问层，跨越不同麒据孤岛，提供遢鳏访问和演能力。因此，业务用户现在可以在需要时,轻松访问自己所需的所有数据.为了满足业务需求，并保证速度、灵活性和敏捷性，费斯托公司把 Denodo平酬为大蟾分析框架的核心组成部分。Denodo平台提供 的逻辑层可提供虚拟视图，该虚拟视图可根据多个部门的业务分析人 员、数据科学家及开发人员的需要进行修改。"这对于我们来说是双赢, 现在业务用户有了所需的灵活性，当他们想要提取的照时不再需要依赖IT部门了，"费斯托公司IT产品徼螂迪赚弗兰克说这些视图也包括本地数据源的数据，以帮助利益相关人满足最后一英贾斯托大数据分析框架.优势Denodo平台通过以下方式翻费斯托公司的大数据分析磔:
