Informatica调优要点(高级)
概述
本篇文档主要针对Informatica的数据集成平台提出了若干高级调优建议,帮助用户更好地理解和优化其数据处理流程。这些调优建议涉及从简单的设计更改到复杂的技术调整等多个层面,帮助用户解决在数据集成过程中遇到的性能瓶颈。
重要调优建议
1. 将Mapping分解
- 原理与实践:通过减少每个Mapping中的目标表数量,可以显著提高Informatica作业的执行速度。每个Mapping对应一个Session,而每个Session都会建立自己的数据库连接。为每个目标表建立独立的数据库连接有助于DBMS并行处理插入、更新和删除操作。
- 实践技巧:如果条件允许,可以将不同的Session放置在标记为“并发”的Batch组中,以实现Mapping和Session的并行执行。并行处理的好处在于,它可以显著缩短处理时间。
2. 使用Maplet处理复杂业务逻辑
- 优势:Maplet是一种封装复杂逻辑的方式,合理使用Maplet不仅能提高Mapping的可管理性,还能在某些情况下提升性能。
- 实践:尽量保持Mapping的简洁性,将复杂的业务逻辑拆分为Maplet,从而加快数据加载速度。
3. 保证Mapping尽可能简单
- 策略:遵循简单的原则是提高性能的关键。数据从源到目标的处理步骤越少,数据加载速度就越快。
4. 重视Reader、Transformer和Writer进程的影响
- 分析:了解Informatica生成的性能统计信息至关重要。识别和优化Reader、Transformer和Writer这些关键组件是提高整体性能的关键。