利用 Site-to-Site VPN 在亚马逊云科技中国区实现企业级混合云互连（设计篇）

在人工智能飞速发展的时代，公有云和云下本地网络的连接为企业提供了强大的混合基础设施，能够充分利用两者的优势。以下是一些应用场景举例：

边缘计算与 AI — 在本地网络进行实时数据处理和初步 AI 分析，将复杂的 AI 模型训练和大规模数据分析任务转移到公有云。
数据管理与分析 — 敏感数据存储在本地网络，利用公有云进行大数据存储和高性能计算。
机器学习模型部署 — 在公有云上训练 AI 模型，将训练好的模型部署到本地网络进行推理。
研发与创新 — 本地网络保护知识产权和敏感研究数据，公有云提供高性能计算资源用于模拟和实验。
灾难恢复与业务连续性 — 本地网络作为主要运营环境，公有云作为备份和灾难恢复站点。

企业级的混合云网络互连在这些场景中扮演着关键角色，以下针对公有云数据中心和本地网络互连的场景进行设计与实现，采用亚马逊云科技宁夏区作为设计示例区域。

亚马逊云科技云端数据中心与本地网络的互连从链路种类来分有两类：专线和互联网。专线需借助电信运营商或亚马逊云科技专线提供服务商，支付专线租用费用才可以实现。互联网则采用 Site-to-Site VPN 隧道技术连接云端和本地网络。本文的设计将采用无须借助专线即能实现的 Site-to-Site VPN 隧道技术，这样做的好处是快速部署上线且节省费用，但需要提供能够媲美专线性能和稳定性的企业级网络互连能力。

企业级网络是为满足大型组织复杂需求而设计的高性能、高可靠性、可扩展的网络基础设施。以下是企业级网络互连的一些基本要求：

1. 高可用性和冗余

采用冗余设备和链路；
实施故障转移机制。
多地理分布的数据中心。

2. 可扩展性

模块化设计；
支持未来增长和技术升级。

3. 安全性

传输链路的加密。

4. 性能优化

较高的传输带宽；
较低的延迟；

5. 企业级的设备和服务

提供企业级的技术支持。

6. 良好的互操作性

开放的协议、易操作；
与不同厂商设备的互连。

企业级网络不仅仅是规模更大的网络，而是一个能够支持复杂业务需求、保证高可用性、提供强大安全保护、具有未来扩展能力的综合性网络解决方案。本方案根据企业级网络的要求进行设计。

1. 云端的网络设计

在中国以外的亚马逊云科技区域，亚马逊云科技提供了基于 IPsec 隧道技术的 Site-to-Site VPN 组件以通过互联网连接本地网络。网络服务组件 VGW（Virtual Private Gateway，虚拟专用网关）负责连接云端的 VPC 网络，云下本地网络的硬件或软件路由器负责连接云下用户。VGW 和用户路由器之间通过 IPsec 隧道互连，提供最大 1.25Gbps 的带宽。这虽然在中国以外的亚马逊云科技区域是成熟可行的解决方案，但在中国，由于客观原因，亚马逊云科技中国区 VGW 无法支持 IPsec 隧道，因而也无法直接采用基于互联网的隧道技术连通云上和云下网络。

中国用户可以借助亚马逊云科技的 TGW（AWS Transit Gateway，中转网关）功能之一：TGW Connect 挂载，来提供连接云上云下网络的可行替代解决方案。

TGW Connect 挂载支持通过 GRE 隧道建立连接，每个 GRE 连接支持 5Gbps 的带宽。但是 TGW Connect 挂载的限制是它的 GRE 隧道是 Overlay 技术，Underlay 必须依托于附加在 TGW 上的 VPC。也就是说 TGW 通过 Connect 挂载支持的 GRE 隧道只能在 TGW 和与之附加的 VPC 内的设备之间建立，而无法直接与云下的本地网络设备（如：路由器）连接。

为了解决上述问题，本文在设计中引入 Transit VPC，Transit VPC 与 TGW 位于同一个亚马逊云科技区域中。在 Transit VPC 内启用虚拟路由器（Virtual Router）。Transit VPC 充当 TGW Connect 挂载的 Underlay 网络，需要附加到 TGW 上，这样，TGW 可以通过 GRE 隧道与 Transit VPC 内的虚拟路由器构建 Overlay 的对等网络。云下的本地数据中心路由器则通过互联网与云上 Transit VPC 内的虚拟路由器连接，见图 1。

图 1. 通过 TGW 和 Transit VPC 连接本地数据中心

图 1 中，在亚马逊云科技宁夏区设置了 TGW，并且将两个 VPC 挂载到了这个 TGW 上。本设计将实现云下本地数据中心网络与此两个云端 VPC 网络的互连。除 VPC 和 TGW 外，在亚马逊云科技云端的设计还包括 Transit VPC 和 TGW Connect 挂载，以及相关的 IP 地址分配和路由规划设计。

1) Transit VPC 的设计

Transit VPC 用于承载云端的虚拟路由器，如果要实现高可用性（HA）的部署，则需要启用两台虚拟路由器，并分别位于不同的可用区（AZ，地理位置处同城两地的冗灾数据中心），本设计将按 HA 需求设计。Transit VPC 中的每台路由器都需要启用两个 NIC 接口：一个用作广域网（WAN）接口，通过互联网连接云下本地网络的路由器；另一个用作局域网（LAN）接口，通过 TGW Connect 挂载连接 TGW。因此，Transit VPC 中需要设计公有子网放置路由器的 WAN 接口，以及私有子网放置路由器的 LAN 接口。HA 的设计将使两台虚拟路由器分别部署于两个 AZ，因此 Transit VPC 内共需要两个公有子网和两个私有子网。本设计为 Transit VPC 设置了 10.20.0.0/16（示例）的 CIDR 地址段。Transit VPC 的设计和 IP 地址分配见图 2。

图 2. Transit VPC 设计

TGW Connect 挂载与 Transit VPC 内的路由器间将建立 GRE 隧道，路由协议将采用 BGP（Border Gateway Protocol，边界网关协议）来交换 TGW 所获得的 VPC 路由以及虚拟路由器所获得的路由项。BGP 邻居关系将建立在 GRE 隧道连接之上。在 BGP 种类的选择上可以是 iBGP（内部边界网关协议）或 eBGP（外部边界网关协议）。iBGP 需要底层 IGP（如 OSPF、RIP 等）为其构建路由可达性，同时，iBGP 收到的路由信息并不自动散播到 iBGP 邻居处，并且，iBGP 的邻居关系需要两两构建，形成全网状结构，除非采用路由反射器。与 iBGP 不同，eBGP 则没有以上限制，因此，在本设计场景中推荐采用 eBGP 来交换网络路由可达信息，为 Transit VPC 设置的 BGP ASN（Autonomous System Number，自治系统编号）需要与 TGW 的 ASN 不同，本设计为宁夏区的 Transit VPC 分配了 ASN 65510（示例）。

2）Transit VPC 内虚拟路由器设计

Transit VPC 内的虚拟路由器的本质就是有路由器功能的虚拟计算实例，可以有几种选择：免费开源的路由器和第三方厂商在亚马逊云科技 Marketplace 中提供的虚拟路由器 AMI 实例映像。免费开源的路由器尽管免去了路由器软件的费用，但缺乏完整的功能以及缺乏厂商的技术支持，所以建议企业用户选择商业公司所提供的 AMI（实例映像）。在亚马逊云科技中国区的 Marketplace 上可以选择 Cisco、Juniper 等专业网络设备厂商所提供的可在 EC2 上启用的虚拟路由器 AMI，这些虚拟路由器通过 BYOL（用户方提供 License）方式授权使用，可得到网络厂商的专业技术支持，在 EC2 和其他亚马逊云科技服务层面也能得到相关的技术支持服务。本设计采用由思科（中国）有限公司为亚马逊云科技提供的 Cisco Catalyst 8000v 虚拟路由器。该路由器利用 LAN 端口与 TGW 通过 GRE 隧道连接，启用 BGP 与 TGW 交换路由信息。Catalyst 8000v 使用 WAN 端口通过互联网与云下本地数据中心的路由器连接，采用 GRE 作为构建在互联网上的隧道连接。同样使用 BGP 协议与云下路由器交换路由信息。

由于采用 Transit VPC 作为构建与 TGW 互连的 GRE 隧道的 Underlay 网络，因此，在 Transit VPC 中与私有子网相关联的路由表中需加入目标为 TGW CIDR 地址段且以 TGW 的 Transit VPC 挂载为网关的路由项。于此同时，与公有子网关联的路由表须有到任意网段 0.0.0.0/0 的路由项，网关指向 IGW。

由于 Transit VPC 内放置的是路由器实例，所以实例放置的安全组设计为允许任意类型流量进出。

3）TGW 侧的设计

利用 Transit VPC 作为 Underlay 网络，其上启用 Connect 挂载采用 GRE 隧道作为 Overlay 网络连接路由器时，在 Connect 挂载的设计是为 GRE 隧道分配 CIDR 地址，并且通过 BGP 与 Transit VPC 中的路由器建立对等连接。

用于 BGP 对等连接的 GRE 隧道 IP 地址，亚马逊云科技规定必须指定 169.254.0.0/16 范围内的掩码为 29 位的 CIDR 地址段。但是以下地址段由亚马逊云科技系统保留，设计时避免使用：169.254.0.0/29、169.254.1.0/29、169.254.2.0/29、169.254.3.0/29、169.254.4.0/29、169.254.5.0/29、169.254.169.248/29。亚马逊云科技还规定必须将选定为 GRE 隧道地址段的第一个地址分配给虚拟路由器。TGW Connect 将为每个到路由器的对等连接建立两条隧道，TGW 侧分别使用上述地址段中的第二个和第三个 IP 地址。

TGW Connect 对等连接 TGW 侧的 IP 地址（Underlay IP 地址）。必须从 TGW CIDR 地址段中指定 IP 地址，并且该地址在 TGW Connect 挂载中必须是唯一的。如果没有指定 IP 地址，亚马逊云科技将使用 TGW CIDR 块中的第一个可用地址。需注意避免使用亚马逊云科技系统保留地址。本设计中采用 10.10.10.0/24（示例）作为 TGW 的 CIDR 地址段。

2. 云下本地网络设计

本地路由器通过 eBGP 与云端交换路由信息，BGP ASN 设计为 65521（示例）。本地数据中心的路由器选择范围较广，可以是硬件路由器也可以是虚拟路由器，只要支持本设计中所涉及的联网协议即可。本设计将采用 Cisco 路由器作为云下本地网络的出口路由器来实现。

路由器的 LAN 侧地址将成为本地网络的路由网关。由于采用路由器 HA 部署，所以在 LAN 侧的两台路由器需要设计启用 NHRP（Next Hop Redundancy Protocol，下一跳冗余协议）。常用的 NHRP 有思科私有的 HSRP（Hot Standby Routing Protocol，热备份路由协议）和基于 RFC5798 的 VRRP 协议。本设计将采用 VRRP 协议。设计 VRRP 需要两台路由器的 LAN 口在同一 IP 网段中，并且要在这个网段下保留三个 IP 地址供 VRRP 使用，两个为路由器的 LAN 接口地址，一个虚拟地址供本地网络主机作为网关使用。

3. 云上和云下本地网络的互连设计

云端和本地数据中心的互联网链路上将启用 GRE 协议建立 Site-to-Site VPN 隧道。隧道采用的 IP 地址段设计为 169.254.24x.0/24，因为 169.254.x.x 这个地址段不会被业务网络所使用也不存在于互联网中，所以使用该地址段易被管理者识别为隧道连接地址，也节省了业务网络的地址。

由于采用互联网作为底层连接链路，本设计中采用以下措施改善互联网的连接质量问题和带宽问题：

使用两台路由器作 HA 部署，同时与云端虚拟路由器建立两两连接的隧道链路，如图 3 所示。

图 3. 路由器 HA 与全冗余链路

传输加密为基于互联网的隧道技术提供了额外的安全保护，本方案设计中采用 IPsec 加密 GRE 隧道。

在云下本地网络和云端数据中心路由器的互联网隧道链路中启用 BFD（Bidirectional Forwarding Detection，双向转发检测）。互联网的链路质量难以保障，因此，使用 BFD 可以检测互联网链路的延迟，当延迟超出所设置的 BFD 检测延迟，BFD 认为链路失效，触发 BGP 重新收敛其路由，启用冗余路由器的 BGP 路由表，从而保障数据链路迅速恢复。

BGP 为了防止互联网上的路由频繁振荡导致网络不稳定，所以思科默认的 BGP 存活检测间隔为 60 秒以及 180 秒的保持时间。这将导致 BGP 的故障恢复速度很慢。这在大型互联网中是有意义的，因为互联网的设计是非面向连接的，允许丢包的存在，且延迟不确定，而且 BGP 对等邻居的失效有可能跟本端路由器没有关系，因此较大的 BGP 连接超时等待有助于减少网络振荡。但 BGP 的这个特性在本设计中并不适用，因为本设计是 HA 连接，而且云端网络和本地网络连接仅一跳，所以本设计希望 BGP 在遇到链路问题时能够迅速切换到其他互联网隧道链路上。BFD 提供了毫秒级的延迟检测，因此结合 BGP 能满足本设计中对快速切换链路的需要。

在设计 BFD 时需要注意的是 BFD 的检测间隔时间的设置。这个值最小为 50ms（思科路由器为例），但由于采用互联网作为传输链路，所以需要事先用 ping 测试互联网两端的传输延迟，多次测量以获得较为准确的数值。BFD 的检测间隔时间设置应比 ping 传输延迟大，建议采用 1.5 的倍率。如果 BFD 的检测间隔时间设置的比互联网实际传输延迟小，那将会导致 BGP 反复进行链路切换而导致网络振荡。

4. 方案成本费用组成

本方案的成本主要由 TGW 及相关费用、虚拟路由器费用、互联网费用等部分组成。

月度费用估算示例：

假定用户在宁夏区云端有两个业务 VPC 需要与本地网络互连，月度总出云的流量为 1TB。

1. TGW 费用

根据 https://www.amazonaws.cn/transit-gateway/pricing 提供的中国区 TGW 报价，TGW 费用包括：

1 个业务 VPC 发往 Transit VPC 的价格是每小时 0.5*2=1 元，假如有两个业务 VPC，每小时的价格就是 0.5*3=1.5 元。以两个业务 VPC 计算，月 VPC 连接费用为 1.5*24*30=1080 元；
VPC 发送到 TGW 的流量费为 143 元/GB，Connect Attachment 不额外收费。假设每月总流量为 1TB（1000GB），总费用为 0.143*1000=143 元。

2. 虚拟路由器费用

以本方案中的 Cisco Catalyst 8000v 虚拟路由器为例，费用包括：

License 由用户向思科购买，费用未在本方案中体现；
虚拟路由器的 EC2 实例费用。Cisco Catalyst 8000v 可以运行的实例列表参看图 4。以思科推荐的 EC2 实例规格 large 计算，按需费用为 0.493 元/小时，月度费用为 0.493*24*30=354.96 元，两台合计 709.92 元/月。由于虚拟路由器为持续运行设备，用户可以购买预留实例，一年期该预留实例的价格为 0.175 元/小时，折算月度费用为 0.175*24*30=126 元，两台合计 252 元/月。

图 4. Cisco Catalyst 8000v 的实例规格

互联网传输费用

出宁夏区的数据传输费用为每 GB 0.93元，按照 1TB/月算，总费用为 93*1000=930 元/月。

上述示例的月度总费用估算为 2405 元（虚拟路由器 License 未计入，EC2 使用预留实例）。

5. 方案特点和优势

1. 网络设备和链路的冗余容灾设计

网络设备方面：云端虚拟路由器双机跨 AZ 部署设计，云下路由器双机设计；
链路方面：从 TGW 到云端虚拟路由器多 GRE 隧道互连，云端虚拟路由器到云下本地网络路由器间全网状 Site-to-Site 隧道链路连接，云下本地网络路由器启用 VRRP 为本地主机提供冗余网关；
故障恢复：通过 BFD 协议及时触发 BGP 动态路径切换带来了较低的故障保护切换时间（毫秒级）；
端到端的冗余设计充分保障了业务的高可用。

2. 高性能和较低的延迟

通过多隧道双活设计以及利用 BGP 的 ECMP（等价多路径）设置，提供了双倍的传输带宽；
TGW Connect 挂载到 Transit VPC 内虚拟路由器的 GRE 隧道提供 5Gbps 的聚合带宽，在本设计中，TGW 通过两个 Connect 挂载连接两台虚拟路由器，eBGP 利用 ECMP 实现双活带宽为 10Gbps；
本设计中的 Cisco Catalyst 8000v 可通过 license 激活的最大接口带宽为 5Gbps，双机双活也同样提供 10Gbps 的最大传输带宽；
亚马逊云科技的互联网访问带宽不设限制，但云下本地网络的互联网访问带宽往往受用户向运营商申请的链路带宽限制，本设计假设用户向不同的互联网接入运营商各申请一条 1Gbps 的链路，经 BGP ECMP 实现双活后可达 2Gbps 传输带宽；
在亚马逊云科技的云端，VPC 与 TGW 的连接，以及 TGW 与虚拟路由器的连接由于都在一个区域中，所以传输延迟为数毫秒。云端到云下本地的延迟估算以杭州本地到亚马逊云科技宁夏区域的距离为例，约为 48-60ms，见图 5；

图 5. 杭州到亚马逊云科技宁夏区域的网络延迟

云下本地主机到路由器网关的延迟由于处在同一地理位置，估算延迟应在数毫秒内；
端到端的网络连接利用双活技术提供了高带宽和毫秒级的延迟。

3. 可扩展性

通过 TGW 可以将区域内的多个 VPC 加入到云上云下网络互连中；
通过 TGW Peering Connection 可以将中国区其他亚马逊云科技区域或其他账户下的 VPC 加入到本设计中，见图 5；
多个本地网络可通过本方案接入云端，见图 6；
图 5 中的设计通过 BGP 实现端到端的网络连接。

图 6. 扩展到多区域和多云下本地网络的互连

4. 与 SD-WAN 相比

基于互联网的 SD-WAN，其 overlay 网络也是基于 IPsec VPN 隧道，由于有统一的控制平面，在部署和管理方面有其优势，但对于节点并不复杂的联网环境（如本方案中的云端和本地数据中心），也存在一些劣势，如：

成本高 – 部署SD-WAN 解决方案通常需要较高的前期投资，包括硬件、软件和服务费用。
复杂性 – SD-WAN 系统可能比传统网络更复杂，需要专业知识来管理和优化，需要额外的培训来让 IT 团队掌握新技术。
供应商锁定 – 一旦选择了特定的 SD-WAN 解决方案，可能会面临供应商锁定的风险。不同供应商的 SD-WAN 解决方案可能不兼容，迁移困难。

因此，与 SD-WAN 相比，本方案具有路由设备选型灵活（支持 BGP、GRE、IPsec、BFD 即可）、技术成熟、实施方便、成本可控的优点。

5. 其他特点

亚马逊云科技和虚拟路由器厂商以责任共担的原则提供支持和服务，满足企业级网络的服务要求；
方案中主要采用的网络技术包括 BGP、BFD、GRE、IPsec 等标准协议，不同设备间的互操作性强；
采用 IPsec 做互联网隧道加密，保障数据传输安全。

6. 总结

本设计为亚马逊云科技中国区用户在云端数据中心和用户本地网络间提供了高性价比的基于互联网的 Site-to-Site VPN 企业级互连解决方案，兼顾了快速部署、高性能、低延迟、全冗余、可扩展、安全性等企业所关心的网络特性。本设计方案的实现请参考后续发布的“利用 Site-to-Site VPN 在亚马逊云科技中国区实现企业级混合云互连（实践篇）”一文。

亚马逊AWS官方博客