具体描述
大数据时代,掌控数据首先需要掌握数据的处理能力。俗话说,“工欲善其事,必先利其器”。InformaticaPowerCenter作为业界广泛使用的数据处理工具之一,被全球多数大型机构、组织认可并采用。《InformaticaPowerCenter权威指南》全面地介绍了InformaticaPowerCenter的主要功能及高级特性。
《InformaticaPowerCenter权威指南》分为3个部分:第一部分——基础篇,包括第1~4章系统介绍了PowerCenter的基础组件和常用功能,并在其中穿插了大量实践案例;第二部分——高级篇,包括第5~8章,系统介绍了PowerCenter并行、集群、性能调优和字符集管理等高级内容;第三部分——扩展篇,包括第9章,简要介绍了CDC,与Hadoop、MPP集成,以及非结构化和半结构化数据处理能力。
《InformaticaPowerCenter权威指南》适合PowerCenter的入门者及有一定PowerCenter使用经验的用户参考,也可作为各数据仓库、大数据专业培训机构的培训教材。
作者简介
杜绍森,任Informatica大中国区资深顾问。从PowerMart 5开始使用Informatica产品,自PowerCenter 8.1.1版本发布就一直任职于Informatica公司,服务于Informatica近10年时间,帮助Informatica用户设计和构建系统,或者对系统进行重构和调优。之前曾作为系统架构师、项目经理等服务于惠普及本地公司,从事电信行业计费及数据仓库项目。
目录信息
第1章 PowerCenter Hello World世界 1
1.1 Informatica Hello World 1
1.2 PowerCenter架构和客户端简介 3
1.2.1 PowerCenter架构 3
1.2.2 PowerCenter客户端 6
1.3 PowerCenter Hello World 7
第2章 PowerCenter基础组件 27
2.1 Source 27
2.1.1 数据库源 28
2.1.2 文本文件源 30
2.2 Target 33
2.2.1 数据库目标 33
2.2.2 文本文件目标 34
2.3 Expression表达式 35
Expression中的变量端口(Variable Port) 40
2.4 Filter 41
2.5 Source Qualifier 43
2.5.1 Source Qualifier的作用 43
2.5.2 数据库数据源的Source Qualifier 44
2.5.3 Source Qualifier自定义SQL 47
2.5.4 Source Qualifier复杂关联 48
2.6 Sorter 49
2.7 Joiner 51
2.7.1 关联类型 52
2.7.2 Sorted Joiner 54
2.7.3 Joiner有什么独特作用 55
2.7.4 自关联(Self-Join) 56
2.8 Lookup 57
2.8.1 Lookup Caching enabled 59
2.8.2 非连接的Lookup 61
2.8.3 Lookup SQL Override 63
2.8.4 共享Lookup Cache 65
2.8.5 Dynamic Lookup 65
2.8.6 Lookup、Source Qualifier和Joiner的对比 69
2.9 Stored Procedure 70
2.9.1 Connected Stored Procedure 70
2.9.2 Unconnected Stored Procedure 72
2.9.3 Pre- or Post-Session Stored Procedure 74
2.10 Union 76
2.11 Transaction Control 78
2.11.1 Transaction Control有效性问题 79
2.11.2 Transaction Control组件 80
2.12 Sequence 80
2.12.1 Sequence的常规用法 80
2.12.2 共享Sequence 82
2.12.3 可重用的Sequence 83
2.13 Aggregator 84
2.13.1 条件聚合 85
2.13.2 使用Aggregator进行行列转换 86
2.14 Rank 88
2.15 Update strategy 90
2.15.1 Treat source rows as属性的使用 91
2.15.2 Update strategy使用 93
2.15.3 如何实现Update else Insert 94
2.15.4 Update Stagety案例:缓慢变化维 98
2.16 SQL Transformation 104
2.16.1 Script Mode 104
2.16.2 Static Query Mode 106
2.16.3 Dynamic Query Mode 108
2.17 Java Transformation 109
2.17.1 Java Transformation简介 109
2.17.2 Passive Java Transformation 114
2.17.3 Active Java Transformation 121
2.17.4 常见错误说明 123
2.18 Normalizer 124
2.19 Router 126
2.20 Custom Tranformation 128
2.21 HTTP Transformation 129
2.22 XML组件组 132
2.23 Transformation中的一些概念 135
2.23.1 Connect与Unconnect 135
2.23.2 Active与Passive 136
第3章 Workflow执行、监控 138
3.1 Session 139
3.1.1 Reusable Session 139
3.1.2 非Reusable Session 141
3.2 最简单、最常用的Workflow 143
3.2.1 并行执行 143
3.2.2 串行执行 144
3.2.3 调度 146
3.3 Worklet 147
3.4 Command 148
3.5 Control 150
3.6 发送E-mail 151
3.6.1 配置发送E-mail 151
3.6.2 Workflow中使用E-mail 151
3.7 Event Tasks 155
3.7.1 用户自定义事件使用 156
3.7.2 预定义事件使用 158
3.8 Timer 159
3.9 Decision 159
3.10 Assignment 160
第4章 常用功能汇集 163
4.1 Debugger 163
4.2 Mapplet/Reusable Transformation 165
4.2.1 Reusable Transformation 165
4.2.2 Mapplet 167
4.3 使用Shortcut 169
4.3.1 Local Shortcut 170
4.3.2 Global Shortcut 171
4.4 Session相关属性 173
4.4.1 Properties Tab相关属性 173
4.4.2 Config Object Tab相关属性 174
4.5 参数和变量 176
4.5.1 Mapping参数 176
4.5.2 Mapping变量 180
4.5.3 系统/Session参数与变量 184
4.5.4 Workflow/Worklet变量 189
4.5.5 Local 变量(Local Variables) 191
第5章 PowerCenter高级应用 193
5.1 任务分区(Partition) 193
5.1.1 Database Partitioning 196
5.1.2 Hash Partitioning 201
5.1.3 Key Range Partitioning 204
5.1.4 Pass Through Partitioning 205
5.1.5 Round-robin Partitioning 211
5.2 内存管理 214
5.2.1 DTM内存 215
5.2.2 Transformation Cache 216
5.3 网格计算 219
5.3.1 Grid架构 219
5.3.2 Grid负载均衡 221
5.3.3 Grid与任务分区(Partition) 224
5.4 高可用性(HA) 227
5.4.1 PowerCenter自带的HA方案 228
5.4.2 依托第三方厂商的HA方案 229
5.4.3 两种HA方案对比 230
5.5 Web Service 应用 230
5.5.1 Web Service Hub 231
5.5.2 Web Service调度/监控接口 232
5.5.3 Web Service Provider 234
5.5.4 Web Service Consumer 246
5.6 Pushdown Optimization 251
5.6.1 Pushdown优化是什么 252
5.6.2 Pushdown优化类型 252
5.7 版本控制及部署 256
5.7.1 Check In/Check Out 256
5.7.2 Team-Based开发的一些有用功能 258
5.7.3 Label与Deployment Group 260
5.7.4 复制对象从开发Repository到生产Repository 264
第6章 PowerCenter实战汇总 266
6.1 PowerCenter字符集 266
6.1.1 Oracle数据库 267
6.1.2 DB2字符集 268
6.1.3 AS/400字符集 268
6.1.4 ODBC字符集 269
6.1.5 文本文件字符集 270
6.1.6 Repository Service字符集 271
6.1.7 Integration Service字符集 272
6.1.8 Data Movement Mode 273
6.2 UNIX ODBC配置 274
6.2.1 ODBC常规配置 274
6.2.2 My SQL社区版ODBC配置 276
6.3 使用Mapping动态分发文件 277
6.4 超越EDW,商品自动价格跟踪 279
6.5 pmcmd命令 283
6.6 pmrep命令 284
6.7 infasetup命令 284
6.8 Mapping Architect for Visio 286
6.9 MX View语句 293
6.10 PowerCenter与其他工具集成 294
第7章 性能调优 297
7.1 性能调优过程 298
7.2 发现瓶颈 299
7.2.1 定位目标写瓶颈及调优 301
7.2.2 定位源读瓶颈及调优 302
7.2.3 定位Mapping/Session瓶颈 303
7.2.4 定位系统瓶颈 305
7.3 Mapping调优 305
7.3.1 Transformation优化 305
7.3.2 列级别的优化 310
7.3.3 其他方面的优化 312
7.4 Session调优 313
7.4.1 内存调优 313
7.4.2 PowerCenter高级特性支持高性能 313
7.4.3 其他手段 314
7.5 SQL Override调优 316
第8章 PowerCenter Troubleshooting 317
8.1 安装、启动过程的错误 317
8.2 开发过程的错误 319
8.3 Session运行错误 320
8.4 源读或者目标写的错误 321
第9章 PowerCenter扩展能力 322
9.1 PowerExchange CDC(变化数据捕捉) 322
9.1.1 PowerExchange CDC的3种模式 323
9.1.2 开放数据库CDC基本原理 325
9.1.3 CDC常见的一些讨论 326
9.1.4 CDC Real-Time for Oracle安装配置(实例) 327
9.1.5 CDC定义注册组和添加捕获注册(实例续) 331
9.1.6 CDC Mapping开发及运行(实例) 334
9.2 PowerCenter与SAP 336
9.2.1 R/3、mySAP、ECC 337
9.2.2 PowerCenter与BW 338
9.3 PowerCenter与MPP数据库 339
9.4 PowerCenter与Hadoop 340
9.4.1 接口能力 341
9.4.2 PowerCenter on Hadoop 344
9.5 元数据管理与业务术语管理 345
9.5.1 元数据的血缘分析 346
9.5.2 元数据影响分析 347
9.5.3 业务数据管理 347
9.6 B2B Data Transformation 348
· · · · · · (收起)
读后感
用户评价
这本书简直是数据集成领域的“圣经”!我刚开始接触数据仓库和ETL(提取、转换、加载)概念时,那种面对技术汪洋大海的无助感难以言喻。网上的教程零散、晦涩,很多都停留在过时的版本上,根本无法系统地构建起一个坚实的知识体系。直到我翻开了这本书,那种感觉就像是迷路的人终于找到了灯塔。它没有那种高高在上的理论说教,而是采取了一种极其实用的“手把手”教学方式。从最基础的PowerCenter架构设计原理,到每一个组件——像Source Qualifier、Transformation、Target Qualifier——的内部工作机制,讲解得是深入浅出,逻辑清晰。尤其是关于性能调优那几章,简直是干货的海洋,详细剖析了并行处理的陷阱、内存管理的关键点,以及如何通过SQL优化来榨干数据库的最后一丝性能。我按照书中的建议修改了几个复杂流程的映射,运行时长直接缩短了近40%,对于我们项目组来说,这直接意味着节省了大量的计算资源和加班时间。这本书不仅仅是告诉你“怎么做”,更重要的是解释了“为什么这么做”,这种深层次的理解,才是一个真正的数据工程师所需要的核心竞争力。我敢说,任何想在数据集成领域站稳脚跟的人,都应该把它放在手边,时不时翻阅一下,温故知新。
坦白讲,我购买这本书的时候,其实是带着一丝怀疑的,毕竟市面上关于商业软件的“权威指南”很多时候都名不副实,要么内容滞后,要么就是简单的官方文档的堆砌。但这本书彻底颠覆了我的看法。它的内容组织结构非常贴合实际项目生命周期的推进。它不像其他教材那样机械地罗列功能点,而是将知识点嵌入到完整的业务场景中去。例如,它描述了一个复杂的跨国企业数据同步需求,然后循序渐进地展示如何设计映射、如何处理跨时区的数据转换、如何应对数据质量问题,乃至如何使用Workflow Manager进行调度和异常告警的配置。作者对PowerCenter的元数据管理和版本控制的论述尤其精彩,这往往是新手在实际操作中容易忽略,但却是项目长期维护的重中之重。书中甚至提到了处理大型数据集时的Grid架构部署考量,这绝对不是初级用户会接触到的内容,可见作者的实践经验之深厚。读完后,我感觉自己对整个数据管道的掌控力上了一个台阶,不再是机械地拖拽图标,而是能从架构师的角度去审视和设计解决方案了。对于想要从初级用户晋升到高级顾问级别的人来说,这本书的价值是无可估量的。
这本书的优点在于其极强的可操作性和前瞻性。我特别欣赏作者在讲解复杂转换逻辑时所采用的对比分析手法。例如,在处理“查找”(Lookup)操作时,作者详细对比了缓存查找(Cached Lookup)和非缓存查找(Uncached Lookup)的适用场景、性能影响以及内存占用差异,并给出了精确的预估模型。这使得我在实际工作中面对海量数据和严格SLA(服务等级协议)要求时,能够迅速做出最优的技术选型。更值得称赞的是,书中对新兴技术和趋势的关注度。虽然PowerCenter是一个成熟的平台,但作者并未停留在讲解老旧特性,而是积极探讨了与现代云数据平台、大数据生态(如Hadoop集成)的对接方法,甚至涉及了PowerCenter如何与更现代的数据治理工具协同工作的最佳实践。这使得这本书不仅是针对当前项目的指导手册,更像是为未来三五年的技术路线图提供了坚实的理论基础。对于那些需要在遗留系统和前沿技术之间架起桥梁的技术负责人来说,这本书提供的视角是非常宝贵的,它确保了你的知识体系不会因为平台自身的缓慢演进而过时。
从阅读体验上来说,这本书的排版和图示清晰度也达到了行业顶级水准。在理解复杂的数据流和工作流调度关系时,一张高质量的架构图胜过千言万语的文字描述。这本书在这方面做得非常到位,几乎每一个重要的概念或流程都配有精心绘制的流程图或系统结构图。图表的风格统一、标记清晰,极大地降低了理解的认知负荷。不像一些技术书籍,图表模糊不清,或者逻辑跳跃,让人需要反复对照文字才能理解。我注意到,作者在描述数据类型转换和编码问题时,甚至细致到区分了不同操作系统环境下的字节序差异,这种对细节的执着令人敬佩。这本书的语言风格是严谨中带着一种老道的沉稳,它不追求华丽的辞藻,而是专注于准确、高效地传递信息。对于我们这些每天与枯燥数据打交道的人来说,这种清晰、可靠的阅读体验本身就是一种享受。可以说,这本书是少数能让人心甘情愿地、从头到尾精读完的技术著作之一。
我发现这本书在解释那些经常使人困惑的“边缘案例”和“陷阱”方面做得尤为出色。很多技术手册都会避开那些晦涩难懂、只在特定条件下才会出现的Bug或行为,但这本书却毫不避讳地将其暴露出来,并提供了详尽的排错步骤。比如,在处理CDC(Change Data Capture)时,如何正确地配置捕获机制以避免重复数据或漏掉关键变更,这方面的内容写得极其到位,包含了许多官方文档中含糊其辞的描述。作者仿佛就是站在我们面前,用他多年踩坑积累下来的经验告诉我们:“如果你遇到A错误,不要去修改B设置,而是应该检查C的日志文件,并且把D参数调高一点。”这种直击痛点的叙述方式,大大缩短了我们团队在排查生产环境故障时的时间。此外,书中对安全性和权限管理的章节也值得称赞,它不仅仅是讲解了如何设置用户权限,更上升到了企业级数据安全合规性的层面来讨论,这对于金融、医疗等强监管行业的实施团队来说,是至关重要的安全保障。这本书的实用性,绝对是它最大的光环。