【数据架构】松散耦合——17世纪的数据架构？

在17世纪末，有一项创新将永远改变世界。这项创新来自法国工程师兼中将让-巴蒂斯特·格里博瓦尔。他负责改革法国军队的火炮。他发明了一套标准化的大炮和炮弹。直到那时，大炮还没有标准化，对于每门大炮，你都会制作适合特定大炮枪管的炮弹。使用让-巴蒂斯特的规格，法国人只需在设计公差范围内就可以自由生产炮弹。互换性（interchangeability ）的概念被引入世界，它成为工业革命的一个组成部分。

我分享这个故事是因为它很好地说明了一种叫做耦合的东西。但炮弹只是对耦合的粗略简化。Karl Weick提出了耦合概念，他写了一些更无形的系统，比如组织和信息系统。他发现，当系统中的所有步骤都存在并得到考虑时，紧密耦合的系统运行非常平稳，但这些类型的系统对任何变化都很脆弱。就像碰上一块多米诺骨牌，剩下的都倒下了。当你建立一个将数据转化为信息的系统时，理解耦合真的很有用。让我给你举几个我们经常在这个空间看到的紧密耦合场景的常见例子。

第一个例子-依赖数据专家

紧密耦合

假设你有一个“数据员”，可以为你提供所需的所有信息。这意味着你和那个数据人紧密相连。分析师找到新工作的那一天就是你停止获取信息的那一刻。“数据人”越是独特地提供和了解组织的数据，他或她的离职就越痛苦。

松耦合

放松对无所不知的数据大师的依赖并不容易。业务利益相关者不希望陷入必须了解数据的混乱之中。有三件事可以避免人们头脑中的所有逻辑。

数据编目工具

数据编目工具为组织提供了一个协作的地方，以便识别、描述和引用数据元素。对于试图解决数据工作方式问题的人来说，访问数据目录是必须的。最优秀的人把自己的角色看作是大众的工具，而不会陷入困境。数据目录在最大程度的人类参与下工作得最好。

数据仓库

数据仓库负责聚合和整合来自多个来源的数据，这样业务用户就可以使用组件化的、易于查询的数据，而不是原始事务。这不是什么神奇的工具，数据仓库是在业务和IT利益相关者的认真投资和关注下开发的。最好的数据仓库被视为组织内的程序(program)，而不是将其视为一个一劳永逸的项目。

BI元数据层

BI元数据层提供了业务利益相关者将看到的数据的外观。因此，业务利益相关者将看到实际的业务术语，而不是看到数据库表名。有多种工具声称可以利用元数据层。然而，这里的关键是元数据层与数据仓库协同工作的效果如何。理想情况下，元数据层将处理数据的重任留给数据仓库。许多分析供应商采用吸收所有数据来提供可视化的方法，但这最终只是创建了一层又一层。

第二个示例-自定义应用程序

紧密耦合

您的组织决定将所有分析自定义构建到CRM或ERP应用程序中。这意味着您将自己与软件供应商紧密耦合，因为您的所有信息资产都是在其中自定义编码的。因此，当你与供应商协商费用时，你就不再占据上风。或者更糟的是，如果您必须更换该供应商，您现在就不得不完全重建如何将数据转化为信息。

松耦合

CRM和ERP等应用程序为您最关心的流程提供了结构和自动化。然而，组织在将每个功能都投入到这些应用程序中时往往做得太过分了，就像上面的紧密耦合示例一样。应用程序的部署需要遵循COTS策略。每个应用程序都应该尽可能地部署为商用现货（COTS）。这样，组织就避免了与一个供应商的紧密耦合。但是，如何可能松散地耦合来自应用程序的分析？

参考单独的分析层

与其自定义应用程序以可视化数据，不如在应用程序中使用框架来引用单独的商业智能层的分析。这些参考框架通常可以参数化，以提供应用程序所在的上下文。这样，分析就不依赖于应用程序前端。

数据仓库

为了获得有意义的信息，您的组织将要求将数据整合到组织可以用来组装分析的组件中。否则，每一次数据请求都是一次钓鱼探险。

数据仓库允许这种一致性与应用程序分开发生，所有分析都是从这个单独的层派生出来的。因此，如果我们想更改应用程序，我不应该重建所有的分析，而是只需要将新的应用程序数据与数据仓库相一致。所有报告、分析、仪表板以及查询数据仓库的其他内容都保持不变。

第三个示例-嵌套逻辑

紧密耦合

您的组织需要改变计算成本的方式。这将要求您更改分析中的一些逻辑。然而，由于您已经有数千份报告和分析，我们需要确保所有报告和分析都考虑到了变化。只有一个问题，即您为数据可视化选择的解决方案，将SQL查询逻辑嵌套在数据可视化本身中。现在，您必须单独打开每一个，编辑SQL，并重复…一千次。因为可视化和查询逻辑是紧密耦合在一起的。

松耦合

我已经就这个话题写了一整篇白皮书。在部署商业智能工具时，您需要长期思考。通常，组织采用数据可视化工具，却发现在未来的道路上，他们有1000个独立的分析。如果您部署的工具是为了支持大量内容而设置的，那么这就不是问题。但是，如果每一个内容本身都是SQL逻辑的孤岛，那么您就有问题了。当一些查询逻辑需要在多个报告和分析中更改时，你有很多工作要做。那么，如何在不把自己逼到角落的情况下开发大量内容呢？

BI元数据层

BI元数据层旨在将单个报告和分析与实际查询解耦。这是通过将查询主体集中在元数据模型中来实现的，该模型指向数据但不存储数据。此外，它还允许您在一个地方定义检索数据的逻辑。因此，如果我需要更改一些逻辑，我会在一个地方更改它，所有的报告都会采用它。当进行查询时，BI元数据层会自动提供SQL，数据会传递到可视化中。

数据仓库

希望您开始看到为什么数据仓库如此重要的趋势。数据仓库提供了所需的中立性，以证明您在符合数据逻辑方面的投资是合理的。（数据仓库并不便宜）确保这项投资的是，数据仓库是一个数据库，任何可以发布SQL的东西都可以查询。（因此任何商业智能工具）

针对数据仓库的查询不仅简单得多，因为所有的属性和度量都已一致，而且查询运行速度也快得多。此外，数据仓库符合来自多个数据源的数据，这将可能有400行SQL逻辑的数据减少到不到10行。

第四个示例-计算和存储

紧密耦合

每天晚上，您都会将数据加载到数据仓库中，为您的业务提供分析。然而，在某个特定的夜晚，加载时间太长，所以现在它在白天运行，用户甚至无法查询数据仓库，因为它的计算能力与加载数据有关。因此，在这种情况下，计算和存储紧密耦合在一起，因此您只需等待数据加载完成，即可再次访问数据。

松耦合

我通常不会在我的作品和视频中为供应商背书。相反，我更喜欢概述某些架构的优点和缺点。然而，偶尔会有一个创新出现，被一个供应商逼到了绝境。这通常不会持续足够长的时间来引起轰动，但在真正解耦计算和存储的情况下，Snowflake Computing在这一功能上占据了一席之地。他们的数据库从头开始设计，能够将数据留在廉价的存储云环境中，同时使用弹性计算资源进行数据处理。这意味着与分析相关的计算资源和与处理新传入数据相关的计算源可以完全相互独立。如果你想进一步调查Snowflake，我已经写了一篇题为“什么是Snowflak？”的白皮书？

第五个示例-供应商拥有的数据仓库

紧密耦合

作为一名营销专业人士，你必须掌握有意义的分析，帮助你做出一些重要的日常决策。您要么没有IT部门，要么无法依靠IT部门对您的分析需求做出足够的响应。您的组织决定购买一个一体式解决方案，该解决方案以交钥匙的方式提供数据仓库和可视化产品。现在，所有的数据逻辑和可视化都紧密地耦合在一起，并且耦合到一个供应商。当你找到另一个强大的分析工具时，你就会陷入困境，因为你的数据仓库与该供应商提供的单个BI层耦合。

松耦合

如果你必须使用外部帮助来生成你的分析，那么我建议你避免任何不同的供应商锁定。数据仓库是一个数据库，任何东西都可以查询，这一事实证明了对数据仓库的全部投资是合理的。当我说这个数据库是为了服务于一个单一的数据可视化工具时，我已经损害了投资的正当性。

一个松散耦合的替代方案是利用Intricity的信息工厂作为服务。这是一个开放云架构，其所有权在合同期限结束时可以转让。这些组件使用了在分析领域多年经验中的数据仓库和商业智能最佳实践。该产品确实提供了一个独特的BI工具，但它为查询BI层之外的环境提供了一扇敞开的大门。

如果您想了解信息工厂即服务，请参阅此处：http://www.intricity.com/information-factory-ifaas/

提前计划

正如您所看到的，松耦合提供了一种设置进程的方法，该方法可以容忍故障，而不会影响其他进程。与其说多米诺骨牌的倒下影响了所有这些，不如说它只是局部失效。

建立一个松散耦合的数据体系结构需要原始的经验。这是因为紧密耦合的体系结构通常不会在部署过程的早期显露出来。只有通过修复失败部署的经验，您才能了解这些缺点。我建议您联系Intricity，与我们的一位专家谈谈您的具体情况。我们可以帮助您制定一个解决方案体系结构，它将超越市场的奇思妙想和流行语，并为您的数据和信息需求带来价值。

谁是Intricity？

Intricity是一个由100多名数据管理专业人员组成的专业团队，其办公室位于美国各地，总部位于纽约市。我们的专家团队已在多个行业实施，包括医疗保健、保险、制造、金融服务、媒体、制药、零售等。Intricity是一家独特的企业合作伙伴，它深入了解数据的来源。这种共同的知识和敏锐性使Intricity一次又一次地击败了四大竞争对手。Intricity的专业领域横跨整个信息生命周期。这意味着当你的问题涉及到数据；Intricity将是值得信赖的合作伙伴。Intricity的服务涵盖了信息工程需求的广泛数据：

是什么让趣味性与众不同？

虽然Intricity从事高度复杂的数据管理项目，但Intricity首先是一家以商业用户为中心的咨询公司。我们的内部口号是简化复杂性。这意味着我们要应对复杂的数据管理挑战，不仅要让业务人员理解这些挑战，还要让它们更易于操作。Intricity通过使用业务人员熟悉但适合IT内容的工具和技术来实现这一点。

思想领导力

有趣的作者，一个备受追捧的数据管理视频系列，面向商业利益相关者https://www.intricity.com/videos.这些视频被世界各地的大学使用。以下是一小部分利用Intricity视频作为教学工具的大学：