最好的开源ETL工具列表与详细比较:

ETL代表提取、转换和加载。它是从任何数据源中提取数据并将其转换为适当格式以供存储和将来参考的过程。

最后，该数据被加载到数据库中。在当前的技术时代，“数据”这个词非常重要，因为大多数业务都围绕着数据、数据流、数据格式等运行。现代应用程序和工作方法需要实时数据来进行处理，为了满足这一目的，市场上有各种各样的ETL工具。

使用这样的数据库和ETL工具使数据管理任务更加容易，同时改进了数据仓库。

市场上可用的ETL平台在很大程度上节省了资金和时间。其中一些是商业的、授权的工具，少数是开源的免费工具。

在本文中，我们将深入研究市场上最流行的ETL工具。

市场上最流行的ETL工具

下面列出了最好的开源和商用ETL软件系统，并进行了详细比较。

推荐的ETL工具

Hevo是一个无代码的数据管道平台，可以帮助您实时地将数据从任何源(数据库、云应用程序、sdk和流)移动到任何目的地。

主要特点:

• 易于实现:Hevo可以在几分钟内设置和运行。
• 自动模式检测和映射:Hevo强大的算法可以检测传入数据的模式，并在数据仓库中复制相同的模式，无需任何人工干预。
• 实时架构:Hevo建立在实时流架构上，确保数据实时加载到仓库。
• ETL和ELT: Hevo具有强大的特性，允许您在将数据移动到数据仓库之前和之后清理、转换和丰富数据。这确保您总是拥有准备好分析的数据。
• 企业级安全性:Hevo符合GDPR、SOC II和HIPAA。
• 警报和监视:Hevo提供详细的警报和粒度监视设置，以便您始终掌握您的数据。

# 1) Xplenty

 

Xplenty是一个基于云的ETL解决方案，为跨各种源和目的地的自动数据流提供了简单的可视化数据管道。

该公司强大的平台转换工具允许其客户清理、规范化和转换其数据，同时坚持遵从最佳实践。

主要特点:

• 为BI集中和准备数据。
• 在内部数据库或数据仓库之间传输和转换数据。
• 发送额外的第三方数据到Heroku Postgres(然后通过Heroku Connect发送到Salesforce)或直接发送到Salesforce。
• Xplenty是唯一的Salesforce到Salesforce ETL工具。
• 最后，Xplenty支持一个Rest API连接器，可以从任何Rest API拉入数据。

# 2) Skyvia

Skyvia是一个云数据平台，用于无编码数据集成、备份、管理和访问，由Devart开发。Devart公司是一家知名且值得信赖的数据访问解决方案、数据库工具、开发工具和其他软件产品供应商，在两个研发部门拥有超过40000名客户。

Skyvia包括一个ETL解决方案，用于各种数据集成场景，支持CSV文件、数据库(SQL Server, Oracle, PostgreSQL, MySQL)、云数据仓库(Amazon Redshift，谷歌BigQuery)和云应用程序(Salesforce, HubSpot, Dynamics CRM，和许多其他)。

它还包括云数据备份工具、在线SQL客户端和OData服务器即服务解决方案。

主要特点:

• Skyvia是一个商业的、基于订阅的免费云解决方案计划。
• 基于向导的、无需编码的集成配置不需要太多的技术知识。
• 具有常量、查找和强大的数据转换表达式的高级映射设置。
• 按进度进行集成自动化。
• 能够在目标中保存源数据关系。
• 没有重复导入。
• 双向同步。
• 通用集成案例的预定义模板。

#3) DBConvert Studio By SLOTIX s.r.o

 

DBConvert Studio是一个用于本地数据库和云数据库的数据ETL解决方案。它在Oracle、MS SQL、MySQL、PostgreSQL、MS FoxPro、SQLite、Firebird、MS Access、DB2、Amazon RDS、Amazon Aurora、MS Azure SQL、谷歌云等多种数据库格式之间提取、转换和加载数据。

使用GUI模式来优化迁移设置和启动转换或同步。在命令行模式下计划运行保存的作业。

首先，DBConvert studio创建到数据库的并发连接。然后创建一个单独的作业来跟踪迁移/复制过程。数据迁移或同步可以是单向的，也可以是双向的。

无论是否有数据，都可以复制数据库结构和对象。可以对每个对象进行审查和定制，以防止潜在的最终错误。

主要特点:

• DBConvert Studio是一个商业授权的工具。
• 可以免费试用。
• 自动模式迁移和数据类型映射。
• 需要基于向导的无编码操作。
• 自动化会话/作业通过调度器或命令行运行。
• 单向同步
• 双向同步
• 查看和查询迁移。
• 它创建迁移和同步日志来监视进程。
• 它包含迁移大型数据库的批量特性。
• 可以启用/禁用表、字段、索引、查询/视图等每个元素的转换。
• 在迁移或同步过程开始之前，可以进行数据验证。

#4) Sprinkle

Sprinkle是一个端到端数据管理和分析平台，使用户能够自动完成从多个数据源收集数据、将数据转移到首选数据仓库、以及在路上构建报告的完整数据旅程。Sprinkle提供了SaaS和内部部署选项。

Sprinkle的实时数据管道解决方案使企业能够更快地做出业务决策，从而促进业务的整体增长。Sprinkle增强的数据安全性确保没有数据离开客户的前提，从而确保100%的数据安全。

Sprinkle的无代码平台使整个组织的所有员工都可以访问数据，而不管他们的技术能力如何。这确保了更快的业务决策，因为业务团队不必再依赖数据科学团队来提供见解。

Sprinkle还有一个可选的集成的高级报表和BI模块，可以用于构建交互式仪表板，使用拖放式报表和钻取式报表。

撒的特点:

• 零代码摄取:自动模式发现和数据类型到仓库类型的映射。也支持JSON数据。
• 没有专有的转换代码:Sprinkle做ELT(比遗留的ETL提供更多的灵活性和可伸缩性)。用SQL或python编写转换。
• 构建ML管道的jupiter笔记本接口。
• 增量转换的开箱即用:顾名思义，它意味着只对已更改/新数据应用转换。
• 没有数据离开客户的网络:Sprinkle提供可以在客户云内的虚拟机上运行的企业版本。

#5) IRI Voracity

Voracity是一个支持云计算的本地ETL和数据管理平台，最著名的是其底层CoSort引擎的“负担得起的体积速度”，以及内置的丰富数据发现、集成、迁移、治理和分析功能，以及Eclipse上的功能。

Voracity支持数百个数据源，并作为“生产分析平台”直接提供BI和可视化目标。

Voracity用户可以设计实时或批处理操作，将已经优化的E、T和L操作结合起来，或者出于性能或价格方面的原因，使用该平台“加速或离开”现有的ETL工具，如Informatica。贪婪的速度接近从头开始，但它的成本接近Pentaho。

主要特点:

• 用于结构化、半结构化和非结构化数据、静态数据和流数据、传统数据和现代数据、本地数据或云数据的各种连接器。
• 任务和io合并的数据操作，包括多个转换、数据质量和一起指定的屏蔽函数。
• 由多线程、资源优化的IRI CoSort引擎提供的转换，或可在MR2、Spark、Spark Stream、Storm或Tez中互换。
• 同步的目标定义，包括预先分类的批量加载、测试表、自定义格式的文件、管道和url、NoSQL集合等。
• 数据映射和迁移可以重新格式化端序、字段、记录、文件和表结构，添加代理键等。
• 用于ETL、子集设置、复制、更改数据捕获、缓慢更改维度、测试数据生成等的内置向导。
• 用于查找、筛选、统一、替换、验证、规范、标准化和合成值的数据清理功能和规则。
• 同关报告，争论(用于Cognos, Qlik, R, Tableau, Spotfire等)，或集成Splunk和KNIME进行分析。
• 强大的作业设计、调度和部署选项，以及启用Git和iam的元数据管理。
• 与Erwin Mapping Manager的元数据兼容性(用于转换遗留ETL作业)，以及元数据集成模型桥。
• Voracity不是开源的，但当需要多个引擎时，它的价格会低于Talend。它的订阅价格包括支持、文档、无限的客户端和数据源，而且还有永久和运行时许可选项可用。

#6) Informatica – PowerCenter

Informatica是企业云数据管理领域的领导者，在全球拥有500多家合作伙伴，每月交易超过1万亿笔。它是一家软件开发公司，成立于1993年，总部设在美国加利福尼亚州。该公司年收入10.5亿美元，员工总数约4,000人。

PowerCenter是Informatica公司开发的一款数据集成产品。它支持数据集成生命周期，并向业务交付关键数据和值。PowerCenter支持海量数据、任何数据类型和任何数据源进行数据集成。

主要特点:

• PowerCenter是一个商业授权的工具。
• 这是一个现成的工具，并具有简单的培训模块。
• 它支持数据分析、应用程序迁移和数据仓库。
• PowerCenter连接各种云应用程序，由Amazon Web Services和Microsoft Azure托管。
• PowerCenter支持敏捷流程。
• 它可以与其他工具集成。
• 跨开发、测试和生产环境的自动结果或数据验证。
• 非技术人员可以运行和监控作业，这反过来降低了成本。
• 从这里访问官方网站。

#7) IBM  – Infosphere Information Server

IBM是一家跨国软件公司，成立于1911年，总部设在美国纽约，在170多个国家设有办事处。截至2016年，该公司的营收为799.1亿美元，目前在职员工总数为38万。

Infosphere Information Server是IBM在2008年开发的一个产品。它是数据集成平台的领导者，有助于理解并向业务交付关键价值。主要为大数据公司和大型企业设计。

主要特点:

• 它是一种商业许可的工具。
• Infosphere Information Server是一个端到端数据集成平台。
• 它可以与Oracle、IBM DB2和Hadoop System集成。
• 它通过各种插件支持SAP。
• 它有助于改进数据治理策略。
• 它还有助于自动化业务流程，以节省更多的成本。
• 跨多个系统的所有数据类型的实时数据集成。
• 现有的IBM授权的工具可以很容易地与它集成。
• 从这里访问官方网站。

#8) Oracle Data Integrator

甲骨文公司成立于1977年，是一家总部设在加州的美国跨国公司。截至2017年，该公司的营收为377.2亿美元，员工总数为13.8万人。

Oracle Data Integrator (ODI)是一个用于构建和管理数据集成的图形化环境。本产品适用于有频繁迁移需求的大型组织。它是一个全面的数据集成平台，支持大容量数据，SOA支持数据服务。

主要特点:

• Oracle Data Integrator是一个商业授权的RTL工具。
• 通过对基于流程的界面的重新设计改进用户体验。
• 它支持数据转换和集成流程的声明式设计方法。
• 更快、更简单的开发和维护。
• 它自动识别错误数据，并在移动到目标应用程序之前将其回收。
• Oracle Data Integrator支持IBM DB2、Teradata、Sybase、Netezza、Exadata等数据库。
• 独特的E-LT架构消除了对ETL服务器的需求，从而节省了成本。
• 它与其他Oracle产品集成，使用现有的RDBMS功能处理和转换数据。

从这里访问官方网站。

#9) Microsoft – SQL Server Integrated Services (SSIS)

微软公司是一家成立于1975年的美国跨国公司，总部设在华盛顿。公司员工总数为12.4万人，年收入为899.5亿美元。

SSIS是微软为数据迁移开发的产品。当集成过程和数据转换在内存中处理时，数据集成要快得多。由于SSIS是微软的产品，所以它只支持Microsoft SQL Server。

主要特点:

• SSIS是一种商业许可的工具。
• SSIS导入/导出向导帮助将数据从源移动到目标。
• 实现了对SQL Server数据库的自动化维护。
• 用于编辑SSIS包的拖放用户界面。
• 数据转换包括文本文件和其他SQL server实例。
• SSIS有一个可用于编写编程代码的内建脚本环境。
• 它可以通过插件与salesforce.com和CRM集成。
• 调试功能和容易的错误处理流程。
• SSIS也可以与变更控制软件如TFS, GitHub等集成。

从这里访问官方网站。

#10) Ab Initio

Ab Initio是一家美国私营企业软件公司，成立于1995年，总部设在美国马萨诸塞州。在英国、日本、法国、波兰、德国、新加坡和澳大利亚都设有办事处。从头算是专门用于应用集成和大容量数据处理。

它包含了Co>操作系统、组件库、图形化开发环境、企业元>环境、数据分析器等6个数据处理产品，并进行>It。“从头开始Co>操作系统”是一个基于GUI的ETL工具，具有拖放功能。

主要特点:

• 从头算是一种商业许可的工具，也是市场上最昂贵的工具。
• 从头算的基本特征很容易学。
• 从头开始Co>操作系统为数据处理和其他工具之间的通信提供了一个通用引擎。
• 从头开始的产品提供在一个用户友好的平台并行数据处理应用程序。
• 并行处理提供了处理大量数据的能力。
• 它支持Windows、Unix、Linux和大型机平台。
• 它执行批处理、数据分析、数据操作等功能。
• 使用从头开始产品的用户必须通过签署NDA来维护机密性。

从这里访问官方网站。

#11--40

请看后文

结论

到目前为止，我们深入研究了市场上可用的各种ETL工具。在目前的市场上，ETL工具具有重要的价值，对于识别提取、转换和加载方法的简化方式非常重要。

市场上有各种工具可以帮助你完成工作，但这取决于需求。

一些公司正在使用数据仓库的概念，技术和分析的结合将导致数据仓库的持续增长，这反过来将增加ETL工具的使用。

 

讨论：请加入知识星球【首席架构师智库】或者小号【cio_cdo】或者QQ群【11107777】