图4显示了典型的两层脊椎和叶子拓扑。

图4. 典型的脊椎和叶子拓扑

在这个两层Clos体系结构中，每个较低层交换机（叶层）都连接到全网格拓扑中的每个顶层交换机（脊椎层）。叶层由连接到服务器等设备的访问交换机组成。spine层是网络的主干，负责互连所有的leaf交换机。每个叶子开关都连接到织物中的每个脊椎开关。该路径是随机选择的，使得业务负载在顶层交换机之间均匀分布。如果其中一个顶级交换机发生故障，它只会略微降低整个数据中心的性能。

如果发生链路的超额订阅（即，如果一次生成的流量超过了活动链路上可聚合的流量），则扩展容量的过程是简单的。可以增加一个额外的spine交换机，并且可以将上行链路扩展到每个leaf交换机，从而增加层间带宽并减少超额订阅。如果设备端口容量成为一个问题，可以通过将新的叶子交换机连接到每个spine交换机并将网络配置添加到交换机来添加它。易扩展性优化了IT部门扩展网络的过程。如果较低层交换机与其上行链路之间没有发生超额订阅，则可以实现非阻塞体系结构。

对于spine和leaf架构，无论哪一个leaf交换机连接到哪一个服务器，它的流量总是必须通过相同数量的设备才能到达另一个服务器（除非另一个服务器位于同一个leaf上）。这种方法将延迟保持在可预测的水平，因为负载只需跳到一个spine开关和另一个leaf开关就可以到达目的地。

原文：https://www.cisco.com/c/en/us/products/collateral/switches/nexus-7000-series-switches/white-paper-c11-737022.html#Spineandleafarchitecture

本文：http://jiagoushi.pro/node/1032

讨论：请加入知识星球【首席架构师圈】或者加微信小号【intelligenttimes】

系列：Cisco数据中心Spine and Leaf架构：设计概述白皮书

数据中心是现代软件技术的基础，在企业拓展能力方面起着至关重要的作用。传统的数据中心使用三层体系结构，服务器根据位置划分为pod，如图1所示。

图1. 传统的三层数据中心设计

该架构由核心路由器、聚合路由器（有时称为分发路由器）和访问交换机组成。在聚合路由器和接入交换机之间，使用生成树协议（Spanning Tree Protocol  STP）为网络的第2层部分构建无环拓扑。生成树协议提供了几个好处：它简单，是一种只需很少配置的即插即用技术。VLAN在每个pod内扩展，服务器可以在pod内自由移动，无需更改IP地址和默认网关配置。然而，生成树协议不能使用并行转发路径，它总是阻塞VLAN中的冗余路径。

2010年，思科引入虚拟端口通道（vPC）技术，克服了生成树协议的局限性。vPC消除了生成树阻塞端口，提供从接入交换机到聚合路由器的主动主动上行链路，充分利用了可用带宽，如图2所示。在vPC技术中，生成树协议仍然是一种故障安全机制。

vPC技术在一个相对较小的数据中心环境中工作得很好，在这个环境中，大多数流量由客户端和服务器之间的南北向通信组成。

图2. 基于vPC的数据中心设计

自2003年以来，随着虚拟技术的引入，在三层数据中心设计中，在第2层的pod中隔离的计算、网络和存储资源可以被汇集起来。这项革命性的技术创造了对更大的第2层域的需求，从访问层到核心层，如图3所示。

图3. 扩展三层域的数据中心设计

随着第2层分段在所有pod中扩展，数据中心管理员可以创建一个中心的、更灵活的资源池，可以根据需要重新分配。服务器被虚拟化为一组虚拟机，这些虚拟机可以在服务器之间自由移动，而无需更改其操作参数。

随着虚拟化服务器的出现，应用程序越来越多地以分布式方式部署，这导致东西方流量增加。此通信量需要有效处理，具有低且可预测的延迟。然而，vPC只能提供两个活动的并行上行链路，因此带宽成为三层数据中心体系结构中的一个瓶颈。三层体系结构中的另一个挑战是，服务器到服务器的延迟取决于使用的通信路径。

为了克服这些限制，开发了一种新的数据中心设计，称为基于Clos网络的脊椎和叶子架构。这种架构已经被证明能够提供高带宽、低延迟、无阻塞的服务器到服务器连接。

原文：https://www.cisco.com/c/en/us/products/collateral/switches/nexus-7000-series-switches/white-paper-c11-737022.html

本文：http://jiagoushi.pro/node/1031

讨论：请加入知识星球【首席架构师圈】或者加作者小号【intelligenttimes】

现代虚拟化数据中心结构必须满足某些要求，以加快应用程序部署并支持DevOps需求。例如，结构需要支持转发表的缩放、网段的缩放、第2层网段扩展、虚拟设备移动性、转发路径优化和虚拟化网络，以便在共享物理基础设施上支持多租户。

尽管网络覆盖的概念并不新鲜，但在过去几年中，人们对网络覆盖的兴趣有所增加，因为它们有可能满足其中的一些要求。随着专门为数据中心构建的新封装帧格式的引入，人们对覆盖网络的兴趣也增加了。这些格式包括虚拟可扩展局域网（VXLAN）、使用通用路由封装（NVGRE）的网络虚拟化、大量链路的透明互连（TRILL）和位置/标识符分离协议（LISP）。网络覆盖是由共享底层物理网络的互连节点组成的虚拟网络，允许部署需要特定网络拓扑的应用程序，而无需修改底层网络（图5）。

图5 网络覆盖概念

网络虚拟化覆盖的好处包括：

• 优化设备功能：覆盖网络允许根据设备在网络中的使用位置分离（和专门化）设备功能。边缘或叶设备可以基于终端状态信息和规模优化其功能和所有相关协议，核心或脊椎设备可以基于链路状态更新优化其功能和协议，并具有快速收敛性。
• 结构可扩展性和灵活性：覆盖技术通过聚焦于网络覆盖边缘设备的扩展，允许网络扩展。通过在结构边缘使用覆盖层，脊椎和核心设备不再需要向其转发表中添加终端主机信息。
• 重叠寻址：数据中心中使用的大多数重叠技术允许虚拟网络ID具有唯一的作用域和标识单个专用网络。此作用域允许租户之间的MAC和IP地址可能重叠。覆盖封装还允许底层基础设施地址空间与租户地址空间分开管理。

本文档回顾了Cisco在最近的过去提供的几种spine和leaf架构设计，以及当前的设计，以及Cisco希望在不久的将来提供的设计，以满足现代虚拟化数据中心的结构要求：

• Cisco®FabricPath脊椎和树叶网络
• Cisco VXLAN flood and learn spine and leaf网络
• Cisco VXLAN多协议边界网关协议（MP-BGP）以太网虚拟专用网（EVPN）脊椎和叶网络
• 思科大规模可扩展数据中心（MSDC）第3层脊椎和叶网络

每个部分概述了撰写本文时最重要的技术组件（封装；终端主机检测和分发；广播、未知单播和多播通信转发；底层和覆盖控制平面、多租户支持等）、通用设计和设计注意事项（第3层网关等）。

原文：https://www.cisco.com/c/en/us/products/collateral/switches/nexus-7000-series-switches/white-paper-c11-737022.html#Overlaynetwork

本文：http://jiagoushi.pro/node/1033

讨论：请加入知识星球【首席架构师圈】或者小号【intelligenttimes】

大规模可扩展数据中心（MSDCs）是一个大型数据中心，拥有数千台物理服务器（有时几十万台），其设计目的是在不影响现有基础设施的情况下扩展规模和计算能力。这种规模的环境有一组独特的网络需求，重点是应用程序性能、网络的简单性和稳定性、可见性、容易故障排除和容易的生命周期管理等。MSDCs的示例是大型云服务提供商，它们托管了成千上万的租户，以及承载大型分布式应用程序的门户网站和电子商务提供商。

思科的MSDC拓扑设计使用了第3层spine和leaf架构。叶层负责在网络结构中公布服务器子网。Spine设备负责学习基础设施路由和终端主机子网路由。在大多数情况下，spine交换机不用于直接连接外部世界或其他MSDC网络，但它会将此类流量转发到充当边界叶交换机的专用叶交换机。Border leaf交换机可以插入默认路由以吸引用于外部目的地的流量。根据需要支持的服务器的数量，MSDC设计有不同的风格：两层spine-leaf拓扑、三层spine-leaf拓扑、超大规模fabric-plane Clos设计。有关Cisco Nexus 9000和3000交换机的MSDC设计的更多详细信息，请参阅“Cisco的大规模可扩展数据中心网络结构白皮书”。

在路由设计方面，Cisco MSDC控制平面使用动态第3层协议（如eBGP）来构建路由表，该路由表最有效地将数据包从源路由到spine节点。由于eBGP的可伸缩性和稳定性，大多数客户都使用它。

图20显示了具有eBGP控制平面（AS=自治系统）的第3层MSDC脊椎和叶网络的示例。

图20。

带BGP控制平面的MSDC第3层棘叶网络实例

第3层spine和leaf设计故意不支持跨ToR交换机的第2层vlan，因为它是第3层结构。每个主机都与一个主机子网相关联，并通过第3层路由与其他主机通信。不支持主机移动性和多租户。

由于fabric网络如此庞大，MSDC客户通常使用基于软件的方法来向网络引入更多的自动化和模块化。自动化工具可以处理不同的结构拓扑和形状因素，创建一个模块化解决方案，可以适应不同大小的数据中心。MSDC高度自动化，可以在设备上部署配置，发现结构中任何新设备的角色，监视和排除结构故障等。许多MSDC客户编写脚本以进行网络更改，使用Python、Puppet和Chef以及其他DevOps工具和Cisco技术，如开机自动配置（POAP）。

表4总结了第3层MSDC脊柱和叶网络的特征。

表4。Cisco第3层MSDC网络特性

原文：https://www.cisco.com/c/en/us/products/collateral/switches/nexus-7000-series-switches/white-paper-c11-737022.html#CiscoMSDCLayer3spineandleafnetwork

本文：http://jiagoushi.pro/node/1037

讨论：请加入知识星球【首席架构师圈】或者小号【intelligenttimes】

在RFC 7348定义的VXLAN泛洪学习模式下，终端主机信息学习和VTEP发现都是基于数据平面的，没有控制协议在VTEP之间分配终端主机可达性信息。为了克服flood的局限性并学习VXLAN，Cisco VXLAN MP-BGP EVPN spine and leaf架构使用多协议边界网关协议以太网虚拟专用网（MP-BGP EVPN）作为VXLAN的控制平面。该技术为VXLAN覆盖网络中的第2层和第3层转发提供了控制平面和数据平面分离以及统一的控制平面。本节介绍Cisco Nexus硬件交换机（如Cisco Nexus 5600平台交换机和Cisco Nexus 7000和9000系列交换机）上的VXLAN MP-BGP EVPN。

封装格式和标准符合性

VXLAN MP-BGP EVPN spine and leaf架构使用VXLAN封装。原始的第2层帧被封装在一个VXLAN报头中，然后放置在UDP-IP包中，并通过IP网络传输。该设计符合IETF RFC 7348和IETF bess evpn覆盖标准草案。

底层网络

VXLAN MP-BGP EVPN spine and leaf架构使用第3层IP作为底层网络。

覆盖网络

VXLAN MP-BGP EVPN spine and leaf架构使用MP-BGP EVPN作为VXLAN覆盖网络的控制平面。

广播和未知单播流量

底层IP PIM或入口复制功能用于发送广播和未知单播通信量。

在底层网络中启用IP多播时，每个VXLAN段或VNID都映射到传输IP网络中的IP多播组。每个VTEP设备都与这个多播组独立配置，并参与PIM路由。该组的多播分发树是根据参与vtep的位置通过传输网络构建的。

使用入口复制功能，底层网络是无多播的。VXLAN VTEP使用网络中其他VTEP的IP地址列表来发送广播和未知的单播通信量。这些IP地址通过BGP EVPN控制平面或静态配置在VTEPs之间交换。请注意，入口复制功能仅在Cisco Nexus 9000系列交换机上受支持。

主机检测和可达性

MP-BGP EVPN控制平面通过为驻留在VXLAN覆盖网络中的终端主机分发第2层和第3层可达性信息，提供集成路由和桥接。每个VTEP执行本地学习以从其本地连接的主机获取MAC地址（尽管是传统的MAC地址学习）和IP地址信息（基于地址解析协议[ARP]snooping）。然后，VTEP通过MP-BGP EVPN控制平面分发该信息。通过MP-BGP控制平面远程学习连接到远程VTEP的主机。该方法减少了网络洪泛现象对终端主机学习的影响，更好地控制了终端主机可达性信息的分布。

多播通信量

VXLAN MP-BGP EVPN支持使用底层IP多播或入口复制功能的覆盖租户第2层多播通信。注意，入口复制仅在Cisco Nexus 9000系列交换机上受支持。

覆盖租户第3层多播通信有两种支持方式：（1）在Cisco Nexus 7000系列交换机（包括Cisco Nexus 7700平台交换机和Cisco Nexus 9000系列交换机）的外部路由器上基于第3层PIM的多播路由。（2） Cisco Nexus 9000云级系列交换机的租户路由多播（TRM）。TRM基于IETF RFC 6513和6514中描述的基于标准的下一代控制平面（ngMVPN）。它以一种高效且有弹性的方式提供租户第3层多播流量。请注意，TRM仅在新一代Nexus9000交换机上受支持，如基于云级ASIC的交换机。有关TRM的功能支持和更多信息，请参阅本文档末尾列出的配置指南、发行说明和参考文档。

您需要仔细设计多播组缩放，如前面讨论Cisco VXLAN flood和学习多播流量的部分所述。

第三层路由功能

VXLAN MP-BGP EVPN spine and leaf网络需要提供第3层内部VXLAN路由，并保持与VXLAN结构外部网络（包括校园网、广域网和因特网）的连接。VXLAN MP-BGP EVPN使用分布式选播网关进行内部路由通信。外部路由功能集中在特定交换机上。

用于内部路由的分布式选播网关

在MP-BGP EVPN中，通过支持相同的虚拟网关IP地址和虚拟网关MAC地址，VNI中的任何VTEP都可以是其IP子网中终端主机的分布式选播网关（如图16所示）。通过EVPN中的anycast网关功能，VNI中的终端主机始终可以使用其本地vtep作为其默认网关，将流量发送到其IP子网之外。此功能使VXLAN覆盖网络中的终端主机能够为北行通信量提供最佳转发。分布式选播网关还提供了在VXLAN覆盖网络中透明主机移动性的好处。由于网关IP地址和虚拟MAC地址在VNI中的所有VTEP上都是相同的，因此当终端主机从一个VTEP移动到另一个VTEP时，它不需要发送另一个ARP请求来重新学习网关MAC地址。

图16. 用于内部路由的分布式选播网关

边界叶的外部路由

图17显示了一个典型的设计，使用一对边界叶交换机连接到外部路由设备。border leaf交换机在内部运行MP-BGP EVPN，与VXLAN结构中的其他vtep交换EVPN路由。同时，它在租户VRF实例中运行正常的IPv4或IPv6单播路由，外部路由设备在外部。路由协议可以是常规的eBGP或任意选择的内部网关协议（IGP）。border leaf交换机学习外部路由，并将它们作为EVPN路由播发到EVPN域，以便其他VTEP leaf节点也可以学习用于发送出站流量的外部路由。

border leaf交换机还可以配置为将在第2层VPN EVPN地址系列中学习到的EVPN路由发送到IPv4或IPv6单播地址系列，并将它们播发到外部路由设备。在这种设计中，租户流量需要通过两个底层跳（VTEP到spine到border leaf）才能到达外部网络。但是，spine交换机只需要运行BGP-EVPN控制平面和IP路由，不需要支持VXLAN VTEP功能。

图17. 边界叶外部路由的设计

边界脊椎处的外部布线

图18显示了一个典型的设计，其中一对脊椎交换机连接到外部路由设备。在这种设计中，spine交换机需要支持VXLAN路由。spine交换机在内部运行MP-BGP EVPN，与VXLAN结构中的其他vtep交换EVPN路由。同时，它在租户VRF实例中运行正常的IPv4或IPv6单播路由，外部路由设备在外部。路由协议可以是常规的eBGP或任意选择的IGP。spine交换机学习外部路由，并将它们作为EVPN路由播发到EVPN域，以便其他VTEP叶节点也可以学习用于发送出站流量的外部路由。

spine交换机还可以配置为将在第2层VPN EVPN地址系列中学习到的EVPN路由发送到IPv4或IPv6单播地址系列，并将它们播发到外部路由设备。在这种设计中，租户流量只需要一个底层跃点（VTEP到spine）就可以到达外部网络。但是，spine交换机需要运行BGP-EVPN控制平面和IP路由以及VXLAN VTEP功能。

图18. 带边框脊椎设计的外部布线

多租户技术

VXLAN MP-BGP EVPN spine and leaf架构使用MP-BGP EVPN作为控制平面。作为MP-BGP的扩展，MP-BGP EVPN使用VRF构造继承了VPN对多租户的支持。在MP-BGP EVPN中，多个租户可以共存并共享一个公共IP传输网络，同时在VXLAN覆盖网络中拥有自己的独立VPN（图19）。

在VXLAN MP-BGP EVPN spine and leaf网络中，VNIs通过不允许第2层通信量穿越VNI边界来定义第2层域并实施第2层分割。类似地，VXLAN租户之间的第3层分割通过应用第3层VRF技术和通过使用映射到每个VRF实例的单独第3层VNI来强制租户之间的路由隔离来实现。每个租户都有自己的VRF路由实例。给定租户的VNI的IP子网位于将第3层路由域与其他租户分离的同一个第3层VRF实例中。

图19.Cisco VXLAN MP-BGP EVPN脊椎和叶网络多租户

Cisco VXLAN MP BGP-EVPN脊椎和叶网络摘要

VXLAN MP-BGP EVPN spine and leaf架构使用MP-BGP EVPN作为VXLAN的控制平面。该设计符合IETF VXLAN标准RFC 7348和IETF-bess-evpn覆盖图草案。它为VXLAN覆盖网络中的第2层和第3层转发提供控制平面和数据平面分离以及统一的控制平面。控制平面学习终端主机第2层和第3层的可达性信息（MAC和IP地址），并通过EVPN地址族分发该信息，从而在VXLAN覆盖网络中提供集成的桥接和路由。它通过基于控制平面的主机MAC和IP地址路由分布以及对本地vtep的ARP抑制来减少网络洪泛。第3层内部路由通信量通过每个ToR交换机上的分布式选播网关以横向扩展的方式直接路由。

表3总结了VXLAN MP-BGP EVPN脊椎和叶网络的特点。

表3。Cisco VXLAN MP-BGP EVPN网络特性

有关VXLAN MP-BGP EVPN的功能支持和更多信息，请参阅本文档末尾列出的配置指南、发行说明和参考文档。

讨论：请加入知识星球【首席架构师圈】或者小号【ca_cea】

VXLAN是众多可用的网络虚拟化覆盖技术之一，它具有许多优点。它是一个工业标准协议，使用底层IP网络。它将第2层分段扩展到第3层基础设施上，以构建第2层覆盖逻辑网络。它将以太网帧封装到IP用户数据协议（UDP）报头中，并使用普通的IP路由和转发机制将封装的数据包通过底层网络传输到远程VXLAN隧道端点（VTEPs）。思科在2014年左右开始支持VXLanFlood，并在思科Nexus5600平台、思科Nexus7000和9000系列等多种思科Nexus交换机上学习spine和leaf技术。本节介绍Cisco VXLAN洪水和学习这些Cisco硬件交换机的特性。

封装格式和标准符合性

Cisco VXLAN flood and learn技术符合IETF VXLAN标准（RFC 7348），该标准定义了基于多播的flood，并在没有控制平面的情况下学习VXLAN。最初的第2层帧用一个VXLAN报头封装，然后放在UDP-IP包中并通过IP网络传输。

底层网络

VXLAN flood and learn spine and leaf网络使用第3层IP作为底层网络。底层IP多播用于减少参与VXLAN段的主机集的泛洪范围。每个VXLAN段都有一个VXLAN网络标识符（VNID），VNID被映射到传输IP网络中的IP多播组。每个VTEP设备都与这个多播组独立配置，并参与PIM路由。该组的多播分发树是根据参与vtep的位置通过传输网络构建的。在底层网络中启用多播功能的要求对一些组织提出了挑战，因为它们不希望在其数据中心或广域网中启用多播。

Cisco Nexus 9000系列引入了入口复制功能，因此底层网络是无多播的。VXLAN VTEP使用网络中其他VTEP的IP地址列表来发送广播和未知的单播通信量。这些IP地址通过静态入口复制配置在VTEP之间交换（图10）。

图10. VXLAN IP底层网络

覆盖网络

VXLAN flood and learn spine and leaf网络没有覆盖网络的控制平面。第二层覆盖网络是在第三层IP底层网络之上通过VTEP隧道机制来传输第二层包而建立的。覆盖网络使用flood和learn语义（图11）。

图11. VXLAN覆盖网络

广播和未知单播流量

底层IP PIM或入口复制功能用于发送广播和未知单播通信量。请注意，入口复制功能仅在Cisco Nexus 9000系列交换机上受支持。

主机检测和可达性

VXLAN flood和learn spine和leaf网络依赖于初始数据平面流量泛洪，使VTEPs能够发现彼此，并学习每个VXLAN段的远程主机MAC地址和MAC到VTEP映射。完成MAC到VTEP映射后，VTEPs在单播流中转发VXLAN流量。

多播通信量

在VXLAN flood and learn spine and leaf网络中，overlay tenant Layer 2多播流量支持使用underlay IP PIM或入口复制功能。注意，入口复制仅在Cisco Nexus 9000系列交换机上受支持。

第三层IP多播业务通过基于第三层PIM的多播路由转发。

多播组缩放需要仔细设计。理想情况下，您应该将一个VXLAN段映射到一个IP多播组，以提供最佳的多播转发。您也可以让多个VXLAN段共享核心网络中的单个IP多播组；但是，多播组的过载会导致次优的多播转发。

第三层路由功能

与传统的VLAN环境一样，在许多情况下都需要在VXLAN段之间或从VXLAN段到VLAN段之间进行路由。在典型的VXLAN flood和learn spine和leaf网络设计中，leaf Top of Rack（ToR）交换机作为VTEP设备启用，以扩展机架之间的第2层网段。这些vtep是VXLAN到VLAN或VLAN到VXLAN桥接的第2层VXLAN网关。当需要在VXLAN段之间或从VXLAN段路由到VLAN段和vice visa时，需要在一些vtep上启用第3层VXLAN网关功能。常用的设计是脊椎层的内部和外部布线，以及叶层的内部和外部布线。两种设计都提供集中路由：即第3层内部和外部路由功能集中在特定交换机上。

脊椎层的内部和外部布线

如图12spine层的内部和外部路由设计所示，leaf-ToR-VTEP交换机是一个第2层VXLAN网关，用于在第3层IP网络上传输第2层网段。脊椎开关有两个功能。它是底层第3层IP网络的一部分，传输VXLAN封装的数据包。它还执行内部VXLAN路由和外部路由。内部和外部路由通信量需要从叶VTEP到要路由的脊椎交换机进行一次底层跃点。

注意，使用热备用路由器协议（HSRP）和vPC配置时，VXLAN间活动活动网关的最大数量为两个。另外，spine Layer 3 VXLAN网关学习主机MAC地址，因此您需要考虑MAC地址规模，以避免超过硬件的可扩展性限制。

图12. 脊椎层的内部和外部布线

边界页上的内部和外部路由

如图13边界叶上的内部和外部路由设计所示，叶ToR VTEP交换机是一个用于在底层第3层IP网络上传输第2层网段的第2层VXLAN网关。spine交换机只是底层第3层IP网络的一部分，用于传输VXLAN封装的数据包。它不会学习覆盖主机的MAC地址。border leaf路由器通过第3层VXLAN网关启用，并执行内部VXLAN路由和外部路由。内部和外部路由流量需要从叶VTEP到脊椎交换机，然后到边界叶交换机的两个下层跃点才能到达外部网络。

在HSRP和vPC配置下，VXLAN间活动网关的最大数量为两个。另外，border leaf Layer 3 VXLAN gateway学习主机MAC地址，因此您需要考虑MAC地址规模，以避免超出硬件的可扩展性限制。

图13. 边界页上的内部和外部路由

多租户技术

VXLAN flood and learn spine and leaf网络支持第2层多租户（图14）。VXLAN使用一个24位的段ID，或者VNID，它允许多达1600万个VXLAN段在同一个管理域中共存。为了支持多租户，相同的VLAN可以在不同的VTEP交换机上重用，并且VTEP上接收到的IEEE 802.1Q标记帧被映射到特定的vni。vni用于在第2层为每个租户提供隔离。VLAN在叶VTEP交换机上具有局部意义，VNI在VXLAN网络上具有全局意义。

图14.使用VNI的第2层多租户示例

VXLAN flood and learn spine and leaf网络还支持使用VRF lite的第3层多租户（图15）。VXLAN泛洪学习网络是一个第二层覆盖网络，第三层SVI位于第二层覆盖网络的顶部。使用VRF-lite，VXLAN泛洪学习网络支持的vlan数量为4096。

图15. 使用VRF lite的第3层多租户示例

Cisco VXLAN flood and learn spine and leaf网络概述

VXLAN flood and learn spine and leaf网络符合IETF VXLAN标准（RFC 7348）。它在第3层IP底层网络上传输第2层帧。然而，它仍然是一个洪水和学习为基础的第二层技术。随着广播域中主机数量的增加，它面临着与FabricPath spine和leaf网络相同的泛洪挑战。第3层功能位于第2层网络的顶部。常见的第3层设计提供集中路由：即第3层路由功能集中在特定交换机（脊椎交换机或边界叶交换机）上。VXLAN flood and learn spine和leaf网络最多支持两个活动网关和vPC，用于内部VXLAN路由。

表2总结了VXLAN洪水和学习脊椎和叶网络的特征。

表2。Cisco VXLAN泛洪学习网络特性

有关Cisco VXLAN flood和learn技术的功能支持和更多信息，请参阅本文档末尾列出的配置指南、发行说明和参考文档。

原文：https://www.cisco.com/c/en/us/products/collateral/switches/nexus-7000-series-switches/white-paper-c11-737022.html#CiscoFabricPathspineandleafnetwork

本文：http://jiagoushi.pro/node/1035

讨论：请加入知识星球【首席架构师圈】或者小号【intelligenttimes】

思科在2010年引入了FabricPath技术。FabricPath提供了新的功能和设计选项，使网络运营商能够创建以太网结构，从而提高带宽可用性，提供设计灵活性，并简化和降低网络和应用程序部署和操作的成本。典型的FabricPath网络使用脊椎和叶子结构。

FabricPath技术使用了传统第2层和第3层技术的许多最佳特性。它保留了第2层环境的简单配置、即插即用的部署模型。还介绍了一种称为FabricPath中间系统到中间系统（IS-IS）的控制平面协议。此最短路径优先（SPF）路由协议用于确定FabricPath网络中任何给定目的FabricPath交换机的可达性并选择最佳路径。其结果是增加了稳定性和可扩展性，快速收敛，以及使用第3层路由环境中典型的多条并行路径的能力。

封装格式和标准符合性

FabricPath spine and leaf网络是Cisco的专有网络，但基于TRILL标准。它在MAC帧封装中使用FabricPath-MAC。

底层网络

FabricPath spine和leaf网络在MAC帧封装中使用第2层FabricPath MAC，在底层网络中使用FabricPath IS-IS作为控制平面。每个FabricPath交换机由FabricPath交换机ID标识。FabricPath is-is控制平面构建关于如何到达其他FabricPath交换机的可达性信息。

覆盖网络

FabricPath没有覆盖网络的覆盖控制平面。覆盖网络中的终端主机信息是通过会话学习的泛洪学习机制来学习的。

广播和未知单播流量

对于FabricPath网络，FabricPath IS-IS控制平面默认创建两个多目标树，通过FabricPath网络承载广播流量、未知单播流量和多播流量。FabricPath中的广播和未知单播流量被淹没到VLAN或广播域中的所有FabricPath边缘端口。

主机检测和可达性

FabricPath交换机依靠初始数据平面流量洪泛来学习终端主机可达性信息。随着广播域中主机数量的增加，泛洪数据包的负面影响更加明显。在FabricPath网络设计中，需要仔细考虑广播和未知单播流量泛滥的影响。FabricPath多拓扑特性等特性的存在，有助于限制FabricPath网络的一个子区域中的流量泛滥。

多播通信量

对于FabricPath网络，FabricPath IS-IS控制平面默认创建两个多目标树，通过FabricPath网络承载广播流量、未知单播流量和多播流量。默认情况下，IP多播流量仅限于那些连接了感兴趣的多播接收器或多播路由器并使用Internet组管理协议（IGMP）侦听的FabricPath边缘端口。对于第2层多播通信量，进入FabricPath交换机的通信量被散列到要转发的多目标树。对于第3层IP多播通信量，需要使用协议无关多播（PIM）通过第3层多播转发通信量。将通信量路由到目标VLAN后，使用目标VLAN中的多目标树将其转发。

第三层路由功能

FabricPath是一种第2层网络结构技术，它允许您通过在第2层添加更多的spine节点和leaf节点来轻松地扩展网络容量。但大多数网络都不是纯的第二层网络。服务器可以与不同子网中的其他服务器通信，也可以通过广域网或Internet与远程分支办公室中的客户端通信。该流量需要由FabricPath交换机（默认网关和边界交换机）上启用的第3层功能路由。

在FabricPath网络中放置第3层函数需要仔细设计。有两个主要的设计选项可供选择：边界脊椎处的内部和外部布线，以及边界叶处的内部和外部布线。两种设计都提供集中路由：即第3层路由功能集中在特定交换机上。

边界脊椎处的内部和外部布线

如图6边界spine的内部和外部路由设计所示，spine交换机充当第2层和第3层边界和服务器子网网关。Spine交换机正在执行VLAN内FabricPath帧交换。spine交换机上的交换机虚拟接口（svi）对东西向内部流量执行VLAN间路由，并与第3层路由上行链路交换路由邻接信息以路由南北向外部流量。路由流量只需经过一个跃点即可到达要路由的脊椎交换机上的默认网关。

FabricPath技术目前最多支持四个FabricPath选播网关。如果spine和leaf网络有四个以上的spine交换机，则第2层和第3层边界需要分布在spine交换机上。此外，在spine交换机上启用SVIs时，spine交换机禁用会话学习并学习相应子网中的MAC地址。您需要考虑MAC地址规模，以避免超出硬件的可伸缩性限制。

图6。边界脊椎处的内部和外部布线

边界页上的内部和外部路由

如图7边界页的内部和外部路由设计所示，spine交换机充当第2层FabricPath交换机，仅执行VLAN内FabricPath帧交换。它不会学习主机MAC地址。第2层和第3层功能在一些叫做border leaf switches的FabricPath leaf switches上启用。边界叶交换机上的SVI对东西向内部流量执行VLAN间路由，并与第3层路由上行链路交换路由邻接，以路由南北向外部流量。

但是路由流量需要通过两个跳：叶到脊椎，然后到要路由的边界叶上的默认网关。在设计中，最多可以启用四个FabricPath选播网关，并在边界页上进行路由。您需要考虑MAC地址规模，以避免超过border leaf交换机的可伸缩性限制。

图7。边界页上的内部和外部路由

多租户技术

FabricPath spine和leaf网络通过VXLAN网络（VN）段特性支持第2层多租户（图8）。VN段特性提供了一种在线路上标记数据包的新方法，取代了传统的IEEE 802.1qvlan标记。此功能使用24位增加的名称空间。客户边缘链路（访问和中继）承载传统的VLAN标记和未标记帧。这些是VN段边缘端口。

FabricPath链路（交换端口模式：FabricPath）为定义了VXLAN网络标识符（vni）的vlan携带VN段标记帧。这些是VN段核心端口。为了支持多租户，相同的vlan可以在不同的FabricPath叶子交换机上重用，IEEE 802.1Q标记的帧被映射到特定的VN段。VN段用于在第2层为每个租户提供隔离。VLAN在FabricPath叶子交换机上具有局部意义，VN段在FabricPath网络上具有全局意义。在每个FabricPath leaf交换机上，网络保留4096个VLAN空间，但在整个FabricPath网络中，至少理论上可以支持1600万个VN段。

图8. 具有FabricPath VN段特性的第2层多租户示例

FabricPath spine和leaf网络还支持使用虚拟路由和转发lite（VRF lite）的第3层多租户，如图9所示。FabricPath网络是一个第二层网络，第三层svi位于第二层FabricPath交换机的顶部。使用VRF lite，FabricPath网络支持的VLAN数量为4096。

图9. VRF lite的第3层多租户示例

Cisco FabricPath脊椎和叶网络摘要

FabricPath spine and leaf网络是Cisco的专有网络，但它是一种成熟的技术，已经得到了广泛的应用。它提供了一个简单、灵活、稳定的网络，具有良好的可扩展性和快速收敛特性，并且可以在第2层使用多条并行路径。但是FabricPath网络是基于flood和learn的第二层技术。它的控制平面协议FabricPath IS-IS是用来确定FabricPath交换机ID可达性信息的。FabricPath交换机依靠初始数据平面流量洪泛来学习终端主机可达性信息。随着广播域中主机数量的增加，泛洪数据包的负面影响变得更加明显。第三层功能位于第二层网络的顶部。常见的第3层设计使用集中路由：即第3层路由功能集中在特定交换机（脊椎交换机或边界叶交换机）上。FabricPath网络支持多达四个用于内部VLAN路由的选播网关。

表1总结了FabricPath脊柱和叶网络的特征。

表1.Cisco FabricPath网络特性

有关功能支持和Cisco FabricPath技术的更多信息，请参阅本文档末尾列出的配置指南、发行说明和参考文档。

原文：https://www.cisco.com/c/en/us/products/collateral/switches/nexus-7000-series-switches/white-paper-c11-737022.html#CiscoFabricPathspineandleafnetwork

本文：http://jiagoushi.pro/node/1034

讨论：请加入知识星球【首席架构师圈】或者加小号【intelligenttimes】

数据中心结构管理和自动化

建立数据中心没有单一的方法。同样，没有单一的方法来管理数据中心结构。Cisco、第三方和开源社区提供了许多不同的工具，可用于监视、管理、自动化和排除数据中心结构的故障。

思科数据中心网络管理器

Cisco Data Center Network Manager（DCNM）是Cisco®统一结构的管理系统。它使您能够配置、监视和排除数据中心网络基础架构的故障。Cisco DCNM可以以四种模式安装：

• 经典LAN模式：管理部署在传统设计中的Cisco Nexus数据中心基础设施，如vPC设计、FabricPath设计等。它提供实时运行状况摘要、警报、可见性信息等。
• 媒体控制器模式：为媒体解决方案管理Cisco IP结构网络，并帮助从SDI路由器过渡到基于IP的基础设施。它提供工作流自动化、流策略管理和第三方工作室设备集成等（此模式与本白皮书无关）
• 存储区域网络（SAN）控制器模式：管理Cisco MDS系列交换机以进行存储网络部署，并对所有SAN管理功能进行图形控制。它提供丰富的洞察遥测信息和其他高级分析信息等（此模式与本白皮书无关）
• LAN结构模式：提供结构生成器，用于自动VXLAN EVPN结构底层部署、覆盖部署、端到端流跟踪、报警和故障排除、配置符合性和设备生命周期管理等。

Cisco DCNM 11.2版支持Cisco Network Insights应用程序；这些应用程序由可添加到数据中心网络管理器（DCNM）的监视实用程序组成。支持两个Cisco Network Insights应用程序：

• Cisco网络洞察-顾问（NIA）：监控数据中心网络并确定可以解决的问题，以保持可用性并减少意外停机。NIA不断扫描客户的网络，并提供前瞻性建议，重点是维护可用性，并提醒客户可能影响正常运行时间的潜在问题。
• Cisco Network Insights–Resources（NIR）：提供一种通过数据收集收集信息的方法，以获得整个数据中心网络管理器（DCNM）中可用资源及其活动流程和配置的概述。

有关Cisco DCNM的更多信息，请参阅https://www.cisco.com/c/en/us/products/cloud-systems-management/prime-d…。

有关Cisco Network Insights的更多信息，请参阅https://www.cisco.com/c/en/us/support/data-center-analytics/network-ins…。

结论

本文档介绍了Cisco的几种spine和leaf架构设计，包括编写本文档时每个架构最重要的技术组件和设计考虑事项。

Cisco FabricPath spine and leaf网络是Cisco的专有网络。它简单、灵活、稳定，具有良好的可扩展性和快速收敛性，支持第二层多条并行路径。但是FabricPath网络是一种基于洪水和学习的第二层技术。其控制平面协议为FabricPath is-is，用于确定FabricPath交换机ID可达性信息。FabricPath交换机依靠初始数据平面流量洪泛来学习终端主机可达性信息。随着广播域中主机数量的增加，泛洪数据包的负面影响变得更加明显。第三层路由功能位于第二层网络之上。常见的第3层设计使用集中路由：即第3层路由功能集中在特定交换机（脊椎交换机或边界叶交换机）上。FabricPath网络支持多达四个用于内部VLAN路由的选播网关。

Cisco VXLAN flood and learn spine and leaf网络符合IETF VXLAN标准（RFC 7348）。它通过第3层IP底层网络传输第2层帧。但它仍然是一种基于洪水和学习的第二层技术。随着广播域中主机数量的增加，它将面临与FabricPath spine和leaf网络相同的泛洪挑战。第三层路由功能位于第二层网络之上。常见的第3层设计使用集中路由：即第3层路由功能集中在特定交换机（脊椎交换机或边界叶交换机）上。VXLAN flood and learn spine和leaf网络最多支持两个活动网关和vPC，用于内部VXLAN路由。

Cisco VXLAN MP-BGP EVPN spine and leaf架构使用MP-BGP EVPN作为VXLAN的控制平面。它符合IETF VXLAN标准RFC 7348和RFC8365（先前起草的IETF-bess-evpn覆盖）。它为VXLAN覆盖网络中的第2层和第3层转发提供控制平面和数据平面分离以及统一的控制平面。第3层内部路由通信量通过每个ToR交换机上的分布式选播网关以横向扩展的方式直接路由。VXLAN MP-BGP EVPN spine and leaf架构具有以下主要优点：

• MP-BGP EVPN协议基于行业标准，允许多供应商互操作。
• 它使终端主机第2层和第3层可达性信息的控制平面学习成为可能，使组织能够建立更健壮和可扩展的VXLAN覆盖网络。
• 它使用已有十年历史的MP-BGP VPN技术来支持可扩展的多租户VXLAN覆盖网络。
• EVPN地址族携带第2层和第3层可达性信息，从而在VXLAN覆盖网络中提供集成桥接和路由。
• 通过基于协议的主机MAC地址IP地址路由分配和本地VTEP上的ARP抑制，减少网络洪泛。
• ●通过每个ToR交换机上的分布式选播功能，为东西和南北交通提供最佳转发，并支持工作负载移动性。
• 它提供VTEP对等发现和认证，降低VXLAN覆盖网络中恶意VTEP的风险。
• 它提供了在第2层建立主动-主动多址的机制。
• 其底层和覆盖管理工具提供许多网络管理功能，简化工作负载可见性，优化故障排除，自动化结构组件供应，自动化覆盖租户网络供应等。

Cisco VXLAN MP-BGP EVPN spine and leaf架构是Cisco的最新创新之一。它旨在简化、优化和自动化现代多租户数据中心结构环境。

Cisco脊椎和叶子第2层和第3层结构的比较

表5比较了本文中讨论的四种Cisco spine和leaf架构：FabricPath、VXLAN flood和learn、VXLAN MP-BGP EVPN和MSDC Layer 3网络。请仔细阅读此表和本文档的每个部分，并阅读参考文档以获取更多信息，帮助您选择最适合您的数据中心环境的技术。

表5. Cisco脊椎和叶子第2层和第3层结构的比较

注：自2019年7月起更新

For more information

For additional information, see the following references:

●      Data center overlay technologies: https://www.cisco.com/c/en/us/products/collateral/switches/nexus-9000-series-switches/white-paper-c11-730116.html

●      VXLAN network with MP-BGP EVPN control plane: https://www.cisco.com/c/en/us/products/collateral/switches/nexus-9000-series-switches/guide-c07-734107.html

●      Cisco Massively Scalable Data Center white paper: https://www.cisco.com/c/en/us/products/collateral/switches/nexus-9000-series-switches/white-paper-c11-743245.html

●      XLAN EVPN TRM blog:

https://blogs.cisco.com/datacenter/vxlan-innovations-on-the-nexus-os-part-1-of-2

原文：https://www.cisco.com/c/en/us/products/collateral/switches/nexus-7000-series-switches/white-paper-c11-737022.html#Conclusion

本文：http://jiagoushi.pro/node/1038

讨论：请加入知识星球【首席架构师圈】或者微信小号【intelligenttimes】

关于

StackStorm是一个用于跨服务和工具进行集成和自动化的平台。它将您现有的基础结构和应用程序环境联系在一起，这样您就可以更容易地自动化该环境。它特别关注在事件发生后采取的行动。

StackStorm帮助自动化常见的操作模式。一些例子:

• 方便的故障诊断——触发Nagios、senu、New Relic和其他监控系统捕获的系统故障，对物理节点、OpenStack或Amazon实例和应用程序组件进行一系列诊断检查，并将结果发布到共享的通信上下文，如HipChat或JIRA。
• 自动修复——识别和验证OpenStack计算节点上的硬件故障，适当地疏散实例，并向管理员发送关于潜在停机时间的电子邮件，但如果出现任何问题——冻结工作流并调用PagerDuty唤醒人工。
• 持续部署——使用Jenkins构建和测试，提供一个新的AWS集群，使用负载均衡器打开一些流量，并根据NewRelic的应用程序性能数据进行前滚或后滚。

StackStorm帮助您将这些和其他操作模式组合为规则和工作流或操作。这些规则和工作流(StackStorm平台内的内容)被存储为代码，这意味着它们支持与现在用于代码开发的协作方法相同的方法。它们可以与更广泛的开源社区共享，例如通过StackStorm社区。

工作原理

StackStorm通过可扩展的包含传感器和操作的适配器集插入到环境中。

1. 传感器是Python插件，用于接收或监视事件的入站或出站集成。当来自外部系统的事件发生并由传感器处理时，将向系统发出StackStorm触发器。
2. 触发器是外部事件的StackStorm表示。有通用触发器(如计时器、网络挂钩)和集成触发器(如senu alert、JIRA issue updated)。可以通过编写传感器插件来定义新的触发器类型。
3. 操作是StackStorm出站集成。有通用操作(ssh、REST调用)、集成(OpenStack、Docker、Puppet)或自定义操作。操作可以是Python插件，也可以是任何脚本，都可以通过添加几行元数据在StackStorm中使用。用户可以通过CLI或API直接调用操作，或者作为规则和工作流的一部分使用和调用操作。
4. 规则将触发器映射到操作(或工作流)，应用匹配标准并将触发器有效负载映射到操作输入。
5. 工作流将操作缝在一起形成“超级操作”，定义顺序、转换条件并传递数据。大多数自动化操作不止一步，因此需要多个操作。工作流与“原子”操作一样，可以在操作库中使用，可以手动调用或由规则触发。
6. 包是内容部署的单元。它们通过分组集成(触发器和操作)和自动化(规则和工作流)简化了StackStorm可插内容的管理和共享。越来越多的包可用于StackStorm交换。用户可以创建自己的包，在Github上共享它们，或者提交到StackStorm Exchange。
7. 动作执行的审计跟踪，手动或自动，记录和存储触发上下文和执行结果的完整细节。它还被捕获在审计日志中，以便与外部日志和分析工具集成:LogStash、Splunk、statsd、syslog。

StackStorm是一个具有模块化架构的服务。它由通过消息总线通信的松散耦合的服务组件组成，并水平扩展以按比例交付自动化。StackStorm有一个Web UI，一个CLI客户端，当然还有一个完整的REST API。我们还提供了Python客户端绑定，以简化开发人员的工作。

StackStorm是一个新产品，正在积极开发中。我们非常渴望参与社区，获得反馈并完善我们的方向。

原文：https://docs.stackstorm.com/overview.html

本文：http://jiagoushi.pro/node/835

讨论：请加入知识星球【首席架构师圈】或者飞聊小组【首席架构师智库】