前往旧金山的旅行，我的房子已经六年了，房价迫使向东移动，总是令人兴奋。海景，美味的印度美食和冲浪的回忆让我怀念孩子们的婚姻生活。最令人兴奋的是关于最新热门技术的嗡嗡声，紧迫感和夸张。

在这次旅行中，Confluent的Kafka峰会令人兴奋。正如我上个月在Eckerson.com上所写的那样，超低延迟，高度可扩展的分布式Apache Kafka数据流平台开创了实时数据集成，处理和分析的新纪元。借助Kafka，企业可以解决新的高级分析用例，并从更多数据中提取更多价值。他们正在实施Kafka和流媒体替代方案，例如Amazon Kinesis和Azure Event Hub，以实现数据湖流式传输，具有许多大数据端点的复杂消息队列，微服务数据共享以及机器学习的预处理。

所有好东西。但是Kafka取代数据架构支柱，比如数据库吗？

剑桥大学研究员马丁·克莱普曼在上周的会议上提出了他所谓的“略带挑衅性的问题”，“Kafka是一个数据库吗？”克莱普曼缩小了数据库的一个定义特征，即它支持ACID的能力 - 兼容数据集。

正如许多读者所知，ACID指的是四种数据库属性 - 原子性，一致性，隔离性和持久性 - 通常被认为对事务数据有效性至关重要。 ACID数据库通过错误，断电或其他组件故障来维护数据完整性。另一种方式考虑，有效的事务要求其所有相关的DB操作都符合ACID。 ACID已成为35年来数据库的黄金标准。

在一次深思熟虑的25分钟会议中，Kleppmann在逻辑上将ACID测试应用于Kafka。我建议观看视频。以下是他的想法摘要。

持久化

Kleppmann从这里开始，因为耐用性似乎是最简单的解决方案。即使系统崩溃，软件发生故障等，持久数据仍然可用并提交。通常，这意味着数据和一个或多个副本被写入非易失性存储器，例如磁盘。 Kafka经纪人可以通过将记录（通常是跨复制分区的多个副本）保存到基于磁盘的文件系统来满足此要求。与其他数据系统一样，这些记录也可以备份到远程位置，以便在发生灾难时提供额外的持久性。

原子性

原子数据库事务作为单个单元运行，可以是成功的，也可以是完全失败的。这是什么意思？事务永远不会被部分提交。如果所有写入都未完全完成，则必须回滚所有内容。 Kleppmann说，Kafka满足了这个属性，因为生产者以一种全有或全无的方式将每条记录写入一个不可变的日志。数据库，缓存和搜索索引都独立地从日志中消耗该记录，而不会相互干扰。作为另一个例子，可以原子地处理包括来自一个帐户的借方和贷方到另一个帐户的交易。这是通过使用流处理算法来实现的，该算法发出这两个相互关联的事件，信用卡和借记卡，用于在Kafka平台上进行协调处理。

隔离性

事务通常同时执行，例如，同时写入多个位置和从多个位置读取。这就产生了隔离的需要，或者确保并发执行的事务反映了正确的顺序。通过将事务逻辑构建到流处理器中，Kafka可以实现序列化，即最高级别的隔离，确保事务不会重叠或以其他方式影响彼此的记录序列。可序列化隔离有效地意味着事务可以表现得就像数据库是所有数据库一样，没有干扰活动。

一致性

Kafka的最终ACID测试是一致性，这意味着根据定义的约束和其他规则，事务是有效的。例如，规则可能指定用户名必须是唯一的。 Kafka再一次依靠流处理算法来清除这个障碍，例如检查任何事务请求的有效性。

Kafka的变形

因此，在流处理算法的帮助下，Kleppmann得出结论，Kafka确实可以符合ACID标准。这为Kafka管理的数据的完整性和下游使用的有效性提供了新的信心。然而，虽然Kafka可以无限期地保留数据，但很少有架构师或开发人员希望Kafka能够很快取代数据库。实际上，Kleppmann建议临时查询最好留给数据库和数据仓库领域，并且最终没有明确说明Kafka实际上是一个数据库。

Kleppmann的论文涉及将Kafka视为数据流平台的更大趋势。

Confluent首席执行官Jay Kreps建议Kafka将事件处理作为数据架构基础的合法位置。

事实上，企业本质上是一系列事件和对这些事件的反应。数据仓库基于事实表，事实是事件，与Kafka相比，这使得数据仓库成为“一个非常慢的事件流”。在这里，克雷普斯遵循硅谷悠久的传统，将新技术定位为既定秩序的破坏者。

这个论点是有道理的。作为符合ACID标准，可扩展，超低延迟的数据流平台，Kafka可以作为微服务，事件监控/分析和各种类型实时应用的中心企业推动者。

实际上，企业正在采用Kafka为用例提供数据流，例如流数据湖摄取，消息排队，机器学习预处理和微服务支持。某些数据集成产品会自动将生产数据库事务发布到Kafka记录流，以解决这些用例。 Kafka在这些组织的数据架构中发挥了关键作用。

从业人员的小提示

在可预见的未来，数据流媒体从业者 - 包括架构师，开发人员及其经理 - 不希望Kafka很快取代数据库或数据仓库。相反，Kafka将作为实时运河系统发挥关键作用，在当今日益异构的环境中，在平台之间和跨管道之间移动数据。您可以配置一个数据库生产者将主题流发送给几十个不同的消费者，从Spark驱动的数据湖到微服务平台，再到各种NoSQL存储库。在大多数情况下，这些消费者最适合管理分析。

所以Kafka是一个实时的数据运河系统，也是无与伦比的一个，但不是数据库。如果Kafka Summit的嗡嗡声有任何迹象，那么Kafka运河将成为许多组织在未来几年投资的一个令人信服的选择。

Kevin是Eckerson Group的贡献分析师，以及Attunity的产品营销高级总监。 要了解有关CDC在Kafka，数据湖和云环境中的作用的更多信息，请查看Kevin共同撰写的书，Streaming Change Data Capture：现代数据架构基础，O'Reilly 2018。

原文:https://www.eckerson.com/articles/applying-the-acid-test-to-apache-kafka

        http://pub.intelligentx.net