云数据中心网络与SDN：1.9　Juniper私有的大二层——QFabric

1.9　Juniper私有的大二层——QFabric

QFabric是Juniper于2011年推出的一款数据中心网络架构，号称使用了当时最为先进的技术理念，引入了集中式控制，并使用了EVPN的雏形协议，能够为超过6000个接入端口提供所谓“1-Tier”的互联。不过，当时有如此大规模数据中心的客户本身就比较稀少，屈指可数的几个目标客户当时都开始走上了数据中心网络的自研之路，而且基于Leaf-Spine的开放式CLOS架构开始大行其道，因此市场上的表现没有达到技术和产品的预期。之后，Juniper也发现了这个问题，推出了面向中型企业的精简版QFabric。不过，在SDN兴起之后，Juniper就把数据中心的产品中心转移到了Contrail上，QFabric还未兴起就已衰落，精致的技术又一次败给了残酷的市场。

或许是因为技术理念太过于先进，Juniper对QFabric的实现讳莫如深，可参考的公开资料也非常少，不过业界对QFabric技术实现的猜测却从未停止过。在这一节中，通过对有限的资料进行整理，将尝试把QFabric尽可能多的技术特征展现出来，和读者一起领略一下J家的“黑科技”。

1.9.1　整体设计

QFabric设计的出发点是，对传统Chassis交换机进行解构，实现一个物理上完全分布式的CLOS架构。Chassis交换机有三个核心的组件：I/O Modules负责接入设备，集成了丰富的L2/L3功能；Fabric负责I/O Modules间背板的高速互联，功能简单但是转发性能十分强大；Route Engine负责处理网络的控制信令。与之类似，QFabric也有三个组件：负责边缘接入的QFabric Node，相当于Chassis交换机的I/O Modules；负责核心互联的QFabric Interconnect，相当于Chassis交换机的Fabric；负责网络管理与控制的QFabric Director，相当于Chassis交换机的Route Engine。图1-24为QFabric与传统Chassis交换机的对比。

图1-24　QFabric与传统Chassis交换机的对比

在Chassis交换机中，I/O Modules间是通过Fabric的插槽和走线互联的，Route Engine也是通过Fabric（或者以太网）控制I/O Modules的。受限于功耗、散热、信号串扰等问题，Chassis交换机能够提供的容量是比较有限的，即使是通过虚拟机框等技术实现了Chassis的多虚一，系统的容量有所提升，但是其架构上的可扩展性仍然是受限的。QFabric通过将Node、Interconnect和Director间物理解耦，可以规避Chassis硬件实现上的限制，从而解决了Chassis难于扩展的问题。Node和Interconnect间通过40GE以太网互联，这张网（图1-25）用于传输实际的业务流量，在QFabric中被称为FTE（Fabric Transport Ethernet），Director通过一张独立的以太网管理、控制各个Node和Interconnect，这张网在QFabric中被称为CPE（Control Plane Ethernet）。实际上，以现在的技术视角来看QFabric，简单地说，就是Leaf-Spine的Underlay Fabric再加上Out-of-Band的集中式控制。以当时的视角来看，QFabric的技术可以说的确是非常超前了。

图1-25　QFabric的组网结构

QFabric一个比较亮眼的关键词就是“1-Tier”，字面上的意思是将网络从Core-Aggregation-Access三层扁平化成了一层，提供any-to-any的连接，于是就有了图1-26所示的架构。实际上这个词和这张图都十分具有迷惑性，感觉上像是Node之间做了全互联，但实际上如前面所说，QFabric也是Leaf-Spine架构，Node间还是要通过Interconnect做中继的。对于“1-Tier”这个词的理解应该是，Interconnect上不需要维护复杂的host路由，只做简单的tag-based的转发，也就没有了下一跳的概念，Node和Node间就像是直连一样，因此称为“1-Tier”。

QFabric中，Node被分为以下三种角色，如图1-27和图1-28所示。

SNG（Server Node Group）指的是设备通过LAG接入同一台Node，这台Node即被称为SNG。

RSNG（Redundant Server Node Group）指的是设备通过LAG接入到两台不同的Node上，这两台Node被称为一个RSNG，RSNG即是类似于vPC Domain的一个概念。

NWNG（NetWork Node Group）指的是与外界路由器相连的一组Node，一个NNG中最多可以有8台Node。一个QFabric系统中SNG/RSNG可以有多个，而NWNG只能有1个。

图1-26　QFabric所提出的“1-Tier”架构

图1-27　QFabric中的SNG和RSNG

图1-28　QFabric中的NWNG

这里需要说明的是，Node中控制平面RE（Routing Engine）和转发平面PFE（Packet Forwarding Engine）是分离的，当然对于Interconnect来说也是一样的。SNG/RSNG中Node的RE上运行着与主机相关的协议栈，如ARP/MAC Learning/IGMP/LACP等，以及QFabric私有的基于IS-IS的拓扑发现和早期的EVPN雏形协议（下面会有详细介绍），而不运行路由控制协议。RSNG中两个Node的RE为一主一备。NWNG中Node的RE被禁用了，NWNG的控制逻辑运行在Director Group中的NWNG-VM上，NWNG中的Node看到控制信令后会通过前面提到的CFE上报给Director Group中的NWNG-VM，NWNG-VM上除了运行着和SNG/RSNG RE相同的协议之外，还运行着OSPF、BGP等路由控制协议，以便和QFabric外界的路由器交换路由信息。Director Group中有一主一备两台NWNG-VM。