AWS的云网融合设计和产品一：DX和DX SiteLink

Post Views: 1,926

以前曾经认为云网融合是运营商的专利，可以注意到AWS已经拥有了更强的网络能力，而且几年来一直在取得进展。我们引用一些AWS的文档来观察这些情况，“与其他任何云服务提供商相比，AWS 拥有全球最大的基础架构覆盖范围，并且不断扩展，以帮助客户提供更好的终端用户体验，快速将业务扩展到几乎任何地区或国家，并满足他们的数据局部性和主权要求。如果企业希望为欧洲的客户提供服务，客户应该能够从欧洲的众多地区或数据中心（如巴黎，伦敦，法兰克福或都柏林）中进行选择，以获得最佳的客户体验。”，”每个数据中心、可用区和 AWS 区域都通过专门打造的、可用性高和低延迟的私有全球网络基础设施进行互连。该网络建立在全球性的、完全冗余且并行的 100 GbE 城域光纤网络上，通过横跨大西洋、太平洋和印度洋，以及地中海、红海和南中国海的跨洋电缆连接。”

这个是经常见到的图，但是里面有Direct Connect站点，可能未必都了解，后面会逐步展开

AWS全球Region和AZ，蓝色的已经具备，橘色的正在建设，可见并不多，就算加上LZ、WZ，也不算多

AWS的全球基础设施，注意有LZ、WZ的数目不是最新的。标红了AWS private network backbone的信息：100Gbps和加密

AWS工程师在2018年ReInvent大会发布了一个演讲《Behind the Scenes: Exploring the AWS Global Network (NET305)》，介绍了很多设计思路，但是细节不多，也不太新，因此首先研究现在AWS全球核心网的各个局部领域的设计和产品进展，然后再结合2018的演讲来总结和生成AWS的云网融合全貌。

1、DX和DX Sitelink

1.1 Direct Connect（DX）

DX（专用网络连接）大约是2011年就推出的业务。DX很像是AWS在热点城市的接入点，直接的意思是不中转就接入AWS的骨干网，并连接进入AWS的Region。全球DX站点目前一共108个，考虑到DX站点实际上都是就近Region/AZ/LZ/WZ部署的，那么实际上（84+14+20=118）个（AZ+LZ+WZ）对应了108个DX站点，考虑到存在AZ+LZ/WZ存在就近部署的情况，那么基本上可以认定是判断是有一定合理性的，即AWS在DX和AZ+LZ+WZ的选址方面，是就近的。

由于各个国家和地区关于接入点的设置存在管控要求，DX未必都由AWS自建，AWS会本地的服务商合作，在中国（含港台）地区有12个合作单位，基本都是电信运营商，需注意，中国移动不是合作伙伴，联通和电信都是。猜测除了商务原因，也许早期移动在国际出口POP带宽和能力方面弱于电信联通可能也是一个技术原因。目前移动网络大发展，仅看POP点数量，移动全球有180个POP（国内8个），电信176个，联通63个（口径有所差异），移动已经超过了电信和联通。下面3个图分别是移动、联通、电信的全球网络，其中移动的图仅有海缆，具体其他电缆参见https://www.cheshirex.com/2315.html。

说到运营商就跑题了，言归正传。AWS DX在中国的12个合作交付单位是HKBN、CHIEF、CKMate、中信网络、UNISITI、联通CloudBond、Sinnet NI、中华电信、中国电信国际公司、中国电信有限公司、CBC、Console Connect。这些合作伙伴后端和AWS骨干网连接，前端接入客户。在这种情况下，客户接入到AWS的网络需要和DX厂家有个合同才行，而且估计在接入段，未必能获得本地服务商的监控数据。

例如中华电信，“可在 CHT Taipei IDC 上访问 AWS Direct Connect。通过 VPN 或租用线路连接到 IDC，并在线完成相关配置，AWS 用户可以与 AWS 建立安全的专用网络连接”。例如CBC，“CBC 屡获殊荣的以太网和 MPLS 网络，专为中国和全球区域的混合云提供 AWS Direct Connect 解决方案。作为在中国和新加坡提供服务的 Direct Connect 合作伙伴，CBC 建立了完善的基础设施，为客户提供高弹性且具有容错能力的直接连接。CBC 积累了丰富的经验，可帮助国内外财富 500 强客户有效利用 AWS 云中的资源，在 AWS 与其本地环境之间建立无缝连接，以支持业务连续性”。例如联通，“Cloudbond 基于该产品为客户提供 MPLS VPN 网络。客户可以在他们公司所在的城市获得网络服务，并连接到中国境内他们想要连接的任何位置“。

“AWS Direct Connect 通过标准的以太网光纤电缆将您的内部网络链接到 AWS Direct Connect 位置。电缆的一端接到您的路由器，另一端接到 AWS Direct Connect 路由器。有了这种连接，你可以创建虚拟接口直接向公众AWS服务（如，到 Amazon S3）或 Amazon VPC，从而绕过您的网络路径中的 Internet 服务提供商。网络 ACL 和安全组都允许 (因此可到达您的实例) 的发起 ping 的AWS Direct Connect位置提供对AWS在其关联的区域中。您可以使用公有区域或中的单个连接AWS GovCloud (US)访问公有AWS所有其他公共区域的服务”。这段话是AWS官方介绍，看的有些糊涂，我们还是看看下面的图，然后做些分析解读。

从图中可以看到，Direct Connect站点其实是本地运营商的机房，其中有AWS的接入设备（将运营商地址转化为AWS内网地址），通过网络连接运营商或者客户在同机房的网络设备。支持VLAN和用户的网络设备（路由器/防火墙）组网。另外一端连接AWS内部的资源，包括VPC和API型能力，例如S3这类业务。分别采用了private、public VIF连接。连接VPC采用了一个vGW（类似专线网关，将AWS内网地址转换为租户虚拟地址）。连接S3则无需网关转换地址。其中没写连接容器网络的设备，估计通过Nitro卡把容器网络和VPC统一管理了。这个图还比较简单，有些内容不够清楚，例如vGW（Virtual Private Gateway）的部署位置和组网就并未详述。创建一个DX的步骤还挺多。让我们通过步骤探究一下其原理。

【1、客户或合作单位接入设备】

从Direct Connect对客户/运营商接入设备的配置要求看，是一个标准的Edge Router的形态。需要支持VLAN、BGP，支持v4和v6协议，链路层支持 1522 或 9023 字节的以太网帧大小，巨型帧在高速网络中还是有用处的，可以减少包的数量，多数AWS的EC2实例都支持巨型帧。这是2015年以来流行的标准。DX的收费是端口占用费和数据流出计费（DTO），研究一下https://aws.amazon.com/cn/directconnect/pricing/这个连接，可以对架构和价格有一个感性认识。建立一个DX需要设置两个方向的连接，一边是东侧，一边是西侧，如下。

【2、东侧：建立连接】

首先要选择所在的位置和供应商，即便是最弱的SLA，也需要设置2个连接（connection），假定在Tokyo/JP，则可以看到有很多可选的Vendor，例如可以选择CTC。然后我估计就是要开展线下的设置了，CTC会上门并开通接入段。

如果有多个连接（Connection），则需要设置LAG（link aggregation group ），AWS会视作一个连接（Connection）。看上去似乎是使用了接入物理设备的一些特性。

【3、西侧：虚拟接口VIF】

西侧是云内，AWS Direct Connect 文档中介绍了三种虚拟接口（前面的图中是两种）：

（1）私有虚拟接口（Private virtual interface）：私有虚拟接口应用于使用私有 IP 地址访问 Amazon VPC。这个需要前面设定的链接Connection配置到VPC的网关上。这个也是可以设置的，类似专线网关。

（2）公有虚拟接口（Public virtual interface）：公共虚拟接口可以访问所有AWS使用公有 IP 地址的公共服务。在这个接口上，AWS发布所有AWS自有服务的地址，这样DX就可以访问S3等公有业务了。注意这里需要配置BGP，AWS有一个内部服务IP列表，配置仅需要访问的就行。

（3）中转虚拟接口（Transit virtual interface）：这种接口用于连接到一个或多个 Amazon VPC 中转网关（Transit GW），这也是需要在两个路由设备之间做配置。可能和后面的DX Sitelink有些联系。可使用具有 1/2/5/10 Gbps AWS Direct Connect 连接的中转虚拟接口。

【4、使用DX-gw访问VPC】

DX-gw是将DX和VPC、Transit-gw建立连接的网元：

（1）如果在一个Region有多个VPC，则需要连接Transit-gw（TGW）

（2）如果仅连接一个VPC，则连接Virtual Private Gateway（VPGW）。注意，这个连接方式也适用于Local Zone，不仅仅是AZ。

DX-gw是一个全局资源，所有Region都是可以看得见和连得上的，毕竟DX的一端是全局可见的，也就是AWS的私网地址。A Direct Connect gateway does not allow gateway associations that are on the same Direct Connect gateway to send traffic to each other (for example, a virtual private gateway to another virtual private gateway). A Direct Connect gateway does not prevent traffic from being sent from one gateway association back to the gateway association itself (for example when you have an on-premises supernet route that contains the prefixes from the gateway association). If you have a configuration with multiple VPCs connected to the same transit gateway, the VPCs could communicate. To prevent the VPCs from communicating, use separate transit gateway attachments, and then associate a route table with the attachments that have the blackhole option set.

客户通过多个site通过连接到DX（Direct Connect location）并最终连接到DX-gw，形成一个互联互通的全球网络。

一旦客户将自有站点连接上DX-gw，图中NY1, AM3, Paris, and TY2，则这些连接可以到达任何AWS的区域（除去两个中国的Region）. No peering between Regions is necessary, because Direct Connect gateways are global resources。只有建立了到DX location的连接，则后面的所有操作将都是分钟级别的，包括订购和退订。

用户可通过DX-gw，不仅可以拉通多个Region的VPC，也可以在多个账号之间实现互联，参见下面4个场景。

场景1：Virtual private gateway associations：可以通过DX-gw，在本人账号跨Region互联。当然，一定有一个VPC是可以访问客户本地资源池的

场景2：多个账号都可以访问某个账号Z的DX-gw，并且也可以访问客户网络，前提是Z账号批复了这些路由设置。

场景3：在Transit-gw和DX-gw中建立关联后，那么所有和Transit-gw关联的VPC（同一个Region内）都可以通过DX-gw访问到客户网络。

场景4：和场景3类似，只需账号Z配置好账号A的访问权限即可。这样账号A就可以访问DX-gw，当然也可以设置为和客户网络互通。

1.2 DX Sitelink（专用网络互联）

DX SiteLink是2021年12月左右发布的新产品，这是一个正儿八经的网络业务（50Mbps-100Gbps）。没有这个业务之前，如果要实现跨地域的网络连接，客户需要通过AWS的云、TransitGW来设置跨地域的中转流量路径。DX可以让客户本地的位置连接到全球的DX位置，而DX Sitelink则可以通过这些DX位置（AWS global network backbone）创建客户专有的网络。类似一个全球或者区域化的网络，这个网络是个物理网络。当然用户可以通过这个物理网络构建自己的基础设施。这个业务非常像运营商开展的专线和国际专线业务，目前DX Sitelink支持32个国家，108个DX位置，不包括中国。Sitelink比国际专线更高明一些，既可以组网，又可以选择多个供应商，按需使用而不是长期合同，同时和仅与AWS签署合同。需指出：DX Sitelink不需要穿越AWS的云，而是形成一个网络，是一种纯粹的网络业务。DX Sitelink推出后，客户不用开通AWS云主机业务，再配置Transite Gateway来实现跨区域的专用互联网络了；而是可以直接自己的数据中心、分支机构通过DX Link实现互联。带宽支持50Mbps-100Gbps。所以虽然这个名字有些令人困惑。

Sitelink的收费模式和专线有些类似，包括了固定端口（VIF）月租费和流量费（价格很低），但是费率构成简单。钟点费：每个 VIF 支付每小时 0.50 USD 的固定费率。适用于所有位置、连接速度和连接类型，不发送或接收数据，也要付费。带宽费用的颗粒度很大，是国际或者洲际的颗粒度，下表的计量单位是GB，看上去价格并不高，从欧洲到澳大利亚，穿过海底电缆，每GB价格是0.13美元。