【云数据架构】如何构建成功的云数据架构

随着企业腾空办公场所并将其运营向天空迁移，云数据架构可以提供长期的灵活性，以改善工作流程、成本和安全性。

实施云数据架构的企业可以加速数据洞察并降低IT成本，但如果数据架构设计和管理不当，云的潜在好处可能会带来新的问题。

例如，云提供了启动新数据平台和快速扩展系统以处理大型处理作业的灵活性。然而，如果用户被授权创建低效的数据过程，消耗的资源超过了必要的资源，那么成本可能会很高。同样，当使用云服务并遵循建议的做法来处理和管理数据时，可以提高数据安全性。但是，云数据架构可能会引入安全漏洞，而更熟悉运行本地工作负载的IT员工可能会错过这些漏洞。

尽管存在这些问题，但即使尝试基于云的数据架构，也可以获得切实的好处。实验可能允许数据管理和分析团队探索现有系统不实用的突发用例。如果事情不成功，很容易终止一个不成功的实验，然后继续进行云中的下一个项目。

为什么要构建基于云的数据架构？

全球管理咨询公司AArete的董事总经理John Carey表示，云可以在成本、安全性、工具和数据本地化方面改善企业的数据服务。云服务可以进行时间管理，这可以使需要零星服务的应用程序受益。云服务中包含了许多安全功能，有助于加强数据安全，云提供商提供了帮助管理这些服务的工具。

DataOps平台DataKitchen的首席执行官、创始人兼主厨Chris Bergh表示，云可以加速数据工作流程，并补充说，基础设施成本节约通常只是管理良好的数据迁移项目的一小部分。“云迁移的一个更令人兴奋和更有影响力的目标，”他推测，“是提高业务灵活性。”

云数据架构可以在流数据服务的实现中发挥关键作用。it咨询公司Saggezza的数据分析经理Suyash Karanwal指出：“流媒体技术最好在云上实现，因为它需要快速且可扩展的架构来满足数据流不断变化的需求。”。随着公司越来越多地采用流媒体技术，弹性数据架构可以动态、自动地适应业务需求。

关于在云中构建数据架构的提示

数据架构师在规划、构建和最大化云数据架构的好处时，需要实现几种最佳实践。

• 从一个商业案例开始。技术咨询公司West Monroe的商业咨询和转型高级合伙人Craig Wright表示，组织通常可以在不考虑解决业务问题的最佳数据架构的情况下匆忙达成云协议。从业务用例开始，选择与之一致的云组件，并定义每个组件在创造业务价值中的作用。这种做法可以更容易地评估云迁移的成本和收益。
• 实验和测试。有数百种甚至数千种可用的技术和数据体系结构模式。数字化转型咨询公司Ahead的云和DevOps首席专家Cooper Lutz建议：“不要犹豫，可以尝试多种选择。”。测试一个新想法，如果不成功就关闭它，这可能相对便宜。一旦你找到了一种有效的方法，就使用它，并允许它随着时间的推移而发展。
• 驯服非结构化数据。转向云数据架构为探索非结构化数据用例提供了机会。托管云提供商Syntax美洲地区首席技术官Mike Rulf表示：“基于云的数据架构非常适合处理社交媒体订阅源等非结构化数据或XML文档和消息等半结构化数据。”。基于云的工具可以解锁有趣的关系，并有助于消除与定义数据立方体和传统数据仓库平台所需的其他结构相关的许多工作。
• 专注于数据工作流程。DataKitchen的Bergh认为，增加数据货币化的最佳策略是关注云数据架构如何改进数据工作流程，而不是数据管理工具和技术。他建议采用有助于评估云服务如何最大限度地减少数据分析应用程序的周期时间的指标。
• 平衡数据需求与成本。在云计算中，成本很容易失控。自助服务数据和分析平台制造商1010data的首席技术官Terri Sage表示：“将所有数据保持在最高性能级别的成本很高，因此您需要确定什么流程需要什么数据，以及何时从云资源中获得最高回报。”。最佳实践是通过跟踪和执行使用限制来控制成本。Sage推断：“将数据转储到无限大小的存储中并忘记它是很容易的，但这会产生无限大的经常性存储成本。”

云数据架构的挑战和问题

数据架构师在部署云数据架构时需要应对几个挑战，包括数据引力等技术问题、现有投资等政治问题，以及安全和不完整数据迁移等流程问题。

• 数据重力。“数据引力，”Lutz说，“是迄今为止组织在继续解决混合或多云环境时面临的最常见挑战。”当应用程序跨越多个环境，以及从不同来源获取、转换和分析大量数据集时，可能会出现数据引力问题。这些挑战可以通过分离数据存储、利用事件驱动架构、在边缘分析数据以及扩展公共云计算以进行批处理和大规模分析来克服。
• 内部投资。数据架构师可能需要应对管理层的抵制，以及管理层希望最大限度地提高企业对内部流程的投资。Rulf表示，支持大规模内部部署数据架构所需的基础设施需要大量资本投资。缓解这一障碍的一种方法是确定突发性用例，这些用例对于现有的内部部署架构来说是不切实际的。
• 数据安全和隐私。“数据安全是最重要的挑战之一，”Sage警告说，“这可以通过控制对数据的访问来解决，无论是在传输中还是在休息时，从可靠的外部来源获取数据，并在进入点验证数据。”云数据架构可以利用强化的服务来提高安全性，但这需要前期工作来自动化数据切换过程。考虑数据治理，通过对数据进行分类、创建控制和策略以及通过目录和跟踪管理数据生命周期来解决隐私和安全问题。
• 监管和合规义务。为了遵守数据质量和保护政策法规，数据的本地托管有时可能比云托管更受欢迎。Wright建议，为了应对这种阻力，确保利益相关者了解云数据架构带来的成功用例研究和责任保护。
• 云迁移不完整。Saggezza的Karanwal说，公司在迁移到云的过程中可能会退缩，并意外地使用了云和本地系统的组合。他认为，当一家公司将其数据和应用程序完全迁移到云上时，云计算效果最好。

部署和管理混合云架构

如果对云数据迁移的总体承诺不切实际，那么在规划混合云数据架构时需要考虑几个因素和行动：

• 数据治理。当数据跨越内部部署和云基础设施时，治理和安全问题就更大了，这为黑客创造了更大的攻击面，并增加了违反隐私规定的风险。Rulf建议，确保所有数据源、服务和存储都使用加密隧道和协议进行保护。对数据进行消毒，使其符合隐私控制，并建立保护措施，以保护数据免受恶意软件和导致数据泄露的编码的影响。
• 复杂性和管理风险增加。Wright说，对重要的关系和互操作性约束进行建模。记录相对于卷的数据维度、数据结构的复杂性、工作负载和需求概况、查询量、复杂性和响应时间以及任何数据延迟注意事项。数据管理有助于确保和保存最佳平台上的数据使用，通过接收和转换过程保持完整性，并保持对数据质量和准确性的必要关注。
• 成本管理。添加到云或混合架构中的每一个新元素都会使成本管理变得复杂。Karanwal提醒道，在将数据移出云平台时，要密切关注出口费用。虽然许多云服务允许将数据移动到云中，但事实证明，将数据传输回云中的成本很高。
• 统一的基础设施。同步基础设施可以确保从数据中心到云的实时数据复制，并在完成时以降低出口费用的方式返回。统一的用户身份验证方案可以统一跨云和数据中心资源的访问。数据结构可以提供适当的体系结构和数据服务，以协调跨云和数据中心系统的应用程序。