【开源数据基础架构】2023 年对开源数据基础架构的期望

QQ群

视频号

微信

微信公众号

知识星球

Chinese, Simplified

明年,在明显的预算优势以及添加到多个解决方案中的一些最新的企业友好功能的推动下,开源技术将在企业的数据架构中变得更加突出。

以下是对 2023 年开源数据基础设施领域的三个预测:

1.经济逆风将使开源数据技术对企业更具吸引力。

预计整个 2023 年的经济状况都不稳定,预算限制将吸引更多企业领导者转向完全开源的数据层技术。 随着 Apache Cassandra、Apache Kafka、Redis 和 PostgreSQL 等数据技术在数据最密集的企业环境中继续证明其价值,企业级、生产就绪的开源软件的兴起正在加速。 晚于这一趋势的企业将探索他们的开源选项,作为 2023 年经济动荡的避风港,利用这个机会来利用安全和可扩展的数据架构,而不会给他们的预算增加不必要的许可费用。

这种转变可能会继续侵蚀开放核心替代方案,从而将专有附加组件(和昂贵的许可费用)添加到原本免费的开源项目中。 随着 2023 年的预算审查,企业将仔细研究开源与开放核心的决定——并意识到关键数据技术的纯开源版本完全可以胜任这项任务。

2. Apache Cassandra 4.0将在 2023 年取得突破,无论是在采用方面还是在作为扩展用例集的领先解决方案方面。

考虑到 Cassandra Reaper 等关键工具尚未提供支持,Cassandra 4.0 的 2021 年发布让许多企业在承诺升级迁移之前等待更强大的生态系统组件的到来。 该基本工具支持现已到来,使 Cassandra 4.0 成为寻求更好性能(尤其是在索引速度方面)的企业的诱人选择。 Cassandra 4.0 将以其强大的可靠性、对 Java 11 的支持、更好的安全特性和审计日志以及提高 Cassandra 性能可见性的虚拟表进一步吸引用户。 消除错误是 Cassandra 4.0 开发的重中之重,目的是赢得那些仍然对开源解决方案心存疑虑的人。 一年过去了,Cassandra 4.0 的可靠性是毋庸置疑的,这使得采用它成为一个无风险的决定。

随着广泛采用,Cassandra 4.0 将成为银行业和公用事业等行业越来越受欢迎的选择。 金融机构和其他优先考虑安全性的企业现在越来越多地依赖 Cassandra 4.0,因为它具有严格的审计功能,支持安全策略执行和法规遵从性。 配电公司等公用事业公司也成为 Cassandra 4.0 的支持者,它们利用 Cassandra 4.0 的高可用性和强大的写入性能在庞大的智能电表基础设施中实现大规模数据收集,同时避免代价高昂的停机时间或数据瓶颈。 到 2023 年,这些行业的 Cassandra 4.0 部署将迅速增加,因为 Cassandra 本身会进行改进以提供更轻松的安装和运营管理。 (同样值得注意的是,Cassandra 4.1 现已推出,具有更多功能改进。)

3. Apache Kafka 将在其演进中迈出下一步。


对于许多大型企业而言,Apache Kafka 已经是一种突出且几乎无处不在的开源数据技术——但在 Kafka 计算与数据存储分离的推动下,数据流平台将在 2023 年实现重大飞跃。 不久的将来,Kafka 将具有热存储和冷存储功能,Kafka 会处理来自这些来源的数据收集。

这一关键进展将使 Kafka 摆脱所有数据复制和数据一致性问题。 Kafka 诞生于一个关键目标是利用商用硬件拆分数据以实现高可用性和灾难恢复的时代,Kubernetes 和可用性区域等工具现在可以轻松完成这些任务。 通过现在为 Kafka 引入一个单独的快速且可访问的数据层,Kafka 代理可以简单地随着工作负载起伏,为消费者和生产者提供服务,作为通往该数据层的管道。 将 Kafka 从持久化数据的所有问题中解放出来是一项令人兴奋且受欢迎的技术演进,企业将渴望探索这项技术。

4) 结合 Apache Kafka、机器学习和 Cadence 的应用程序将革命性的智能与 Kafka 的速度和可扩展性相结合。


企业现在成功地展示了 Kafka-ML 的优势,2023 年可能会有更多企业效仿。例如,TikTok 利用 Kafka ML 的实时延迟和超大规模处理能力来交付为每个特定用户定制的内容流。 在另一个例子中,Uber Eats 正在使用 Kafka ML 和 Cadence(一种用于容错长时间运行的应用程序的开源工作流编排工具)来优化推送通知中的交易报价并有效地增加服务订单。 这个聪明的用例使用机器学习来预测向每个客户发送通知的最佳时间。 ML 将特定于客户的通知和最佳时间发送到 Kafka,然后使用 Cadence 调度在正确的时间激活正确的 Kafka 主题。 天空是未来一年利用这些强大技术的智能流媒体应用程序的极限。

不确定时期的更可靠赌注


在现代化功能方面——当然在价格方面——正确的开源部署策略为企业提供了许多专有替代方案无法比拟的优势。 到 2023 年,寻找面临预算紧张的企业团队更多地探索他们的开源数据基础架构选项,并寻找当前用户有意义地扩展他们利用 Cassandra 和 Kafka 等关键技术的方式。

本文地址
https://architect.pub
SEO Title
What to Expect from Open-Source Data Infrastructure in 2023