【集成架构】明智地选择您的ETL - 商业与开源

作为企业架构师，您有时最终会进行工具评估，并负责为您的企业选择合适的工具。有时候，随机你会得到一个问题 - 你可以检查开源工具的选项。随着开源技术越来越受欢迎，我越来越频繁地面临开源与商业模式的明显问题。而且由于我在ETL领域的专业知识，我在这方面所做的所有工作 - 我想到了两个世界当前的市场领导者，并分析了如何为您的企业做出正确的决策。

首先，我考虑了2个顶级商业ETL工具和2个开源工具。我考虑的商业广告是Informatica和DataStage。我考虑的开源工具是由Pentaho生态系统中的Talend和Pentaho Data Integration PDI（Kettle）开发的Talend Open Studio。

现在让我们了解一下商业ETL工具对于高价格标签的期望，与任何开源选项相比。

• 任何商业选择都会为您提供更好的支持（对我来说这是一个非常重要的参数，我们大多数人在考虑任何工具时都会忽略）和持续的产品升级。
• 此外，在大多数情况下，您最终会获得更好的审计和监视功能以及更好的负载平衡和并行执行选项和功能。
• 更好地覆盖第三方连接器，以便从集成层连接到各种应用程序和软件。与构建自定义Java适配器相比，这越来越成为节省时间和成本的决定性参数。
   

一般而言，在为您的组织选择合适的ETL平台时应该注意的参数如下 - 

• 数据质量和治理能力
• 综合审计平衡和控制框架
• 第三方适配器和连接器
• GUI和易用性
• 集中的可共享元数据，用于在整个组织中扩展和重用元数据
• 监控和管理功能
• 调试功能
• 高可用性，负载平衡和故障转移
• 售后支持（技术支持）
• 市场上的人才（确保您没有利基和罕见的工具，这将增加您的开发和维护成本）
• 最后，随着越来越多的组织转向云 - 支持和兼容领先的云提供商和相关的安全选项
•  

现在说了所有这些，下面是我对上面提到的4个ETL工具的看法，以便为你的任务提供快速入门 - 

1. Informatica是市场上最稳定的工具之一。 Informatica可以很好地处理大量数据。借助CDC，增量加载，映射参数和变量，动态查找，前后SQL等功能，Informatica可以轻松地灵活处理大量数据。但我希望看到Informatica的主要改进是在GUI界面中。而不必为Designer，WF管理器和WF监视器打开单独的窗口，如果这三个窗口可以合并到三个单独的选项卡中或构建到构建子任务的层次结构中，例如，工作流会打开会话和会话打开一个映射，不像当前只打开映射属性，这将是很好的。
2. 对于DataStage，主要优点是易用性，易于调试功能和中央存储库概念，可以将元数据扩展到IBM IIS套件中的所有其他工具。但是一个很大的缺点（如果你是一个老的DS用户）是服务器和企业版的巨大架构差异，这导致从服务器到企业版的迁移可能需要大量的时间和资源。此外，即使经过这么多年，一些标准连接器也不那么强大并且存在性能问题。我对使用DataStage的SF适配器的个人经验对于批处理操作非常糟糕。
3. 现在转向开源工具 - 最大的优势当然是成本。它们提供了一种非常经济有效的方式来开始数据质量或主数据管理计划，而无需任何重大投资。这种思维方式也适合当前对迭代和增量项目的偏好，通过在短时间内提供小而有价值的业务功能来降低业务风险。
4. Talend在开发过程中投入了大量资源，并且正在补充其他工具来创建真正的数据集成套件。它在Jaspersoft项目中使用，这意味着它只会从这里发展而来。另一方面，Pentaho Data Integration是一个非常直观且易于使用的工具。虽然它错过了对真正集成的项目存储库的管理。这两种工具都是可靠，高性能，用户友好和跨平台（基于Java）。与Talend相比，Pentaho Kettle IDE稍微容易开始，但也不那么全面。 Talend Open Studio的学习曲线有点陡峭，但其灵活性和强大功能极大地弥补了第一次影响。总的来说，Pentaho Kettle非常易于使用，是Pentaho环境中的一个很好的解决方案。 Talend是一个更通用的数据管理平台，可与其Talend ESB，Talend Data Quality和Talend MDM配套使用。
    

现在，通过上面的内容，我想这将有助于您和您的组织决定正确的ETL工具集，这将有助于其数据集成领域。

原文：https://www.linkedin.com/pulse/choose-your-etl-wisely-commercial-vs-open-source-nath/

本文：https://pub.intelligentx.net/choose-your-etl-wisely-commercial-vs-open-source

讨论：请加入知识星球或者小红圈【首席架构师圈】