作为基于SaaS的控制平面的一部分,我们构建并运营自己的全球骨干网(AS35280),在各PoP之间使用多条100G和400G链路。
这样,我们不仅可以全面掌控各区域边缘节点之间的端到端连接,还能为客户的私有数据中心、边缘站点、公有云VPC(AWS、Azure、GCP)以及SaaS提供商提供同样的高性能、低延迟连接。

需求
我们在欧洲的布局已相当完善,覆盖巴黎、伦敦、阿姆斯特丹和法兰克福,但现有客户和新客户都需要我们在葡萄牙里斯本新设一个PoP。
这一切都在2020年初商定,原计划于2020年第3季度部署。当然,那还是在COVID-19疫情暴发之前 :)
危机发生后,我们发现骨干网络上的流量大幅增加(DDoS攻击也有所增加,相关内容将在后续博文中详述),客户的网络也出现了同样的情况。
他们要求我们在第3季度前完成部署,因为他们迫切需要这个PoP,更确切地说,要在5月底前完成。Volterra团队乐于助人,也喜欢迎接挑战,因此我们仔细评估了满足客户需求所需的时间:
- 我们至少需要2周时间进行部署和测试,
- 还需要1周进行验证
当时是4月初,这个时间安排看起来没问题,因此我们决定继续推进并启动项目,尽管由于以下原因,那其实是启动项目最糟糕的时机:
- 旅行禁令,
- 无法访问数据中心,
- 全球组件短缺,
- 更不用说健康风险了。
需要什么?
部署新的PoP不仅需要路由器、交换机和线缆,还需要:
- 开展网络工程规划,为波分线路选择合适的位置和服务提供商,
- 与选定的数据中心洽谈并达成协议(本例中为Equinix LS1),
- 与IXP协商以获得对等互联端口,
- 当然,还要订购相关硬件和材料(路由器、交换机、线缆、防火墙等)
我们的实施方法
由于危机仍在持续,无法及时获得所需硬件。因此,我们决定重复利用现有的一些硬件,其中大部分来自实验室。这是可以接受的权衡(例如,将使用Juniper QFX10K路由器,而不是原计划的MX10K)。
由于封控,通常会在数据中心进行的设备预部署工作(因为需要足够的电力和机架空间,当然还有……噪声问题!)只能改在家中完成。我们的基础设施首席技术官Raphaël有一间足够大的办公室(供电合同容量为60 A,在启动或运行耗电高达16 A的设备时非常实用!),因此整个预部署工作将由他独自完成,这样也能避免其他员工参与或外出。

完成所有配置并经过多次测试后,我们将设备运往里斯本:

由Equinix远程运维服务在里斯本完成机架安装
尽管我们对自己的配置很有信心(而且无论如何都可以通过OOB或我们的骨干网进行远程访问),但这毕竟是第一次由其他人而不是我们亲自部署新的PoP 😅

我们在全球采用相同的机架设计,目的是保持一致,并为新的里斯本PoP采用相同的配置。
因此,我们必须向Equinix远程支持人员提供极其准确的操作说明,以便他们复现相同的配置,只需“按照指南操作”即可。
以下是我们发送给Equinix的部分操作流程,便于其轻松完成所有设备的上架和连接。
需要处理的组件很多,不仅包括硬件设备(路由器、交换机、防火墙和服务器),还包括线缆,更重要的是,还要确定线缆所连接的交换机和服务器端口。

如下所示,考虑到Equinix技术人员需要完成大量安装工作,此流程已尽可能详尽。我们提供的信息越准确,效果就越好!

成功了吗?
是的!安装工作于5月5日开始,所有设备均已上架并通电,未发生任何硬件故障。也许是我们运气不错,也许是凭借经验妥善完成了运输和包装,也可能两者兼有。无论如何,一切运行正常。
第二天,Equinix技术人员完成了布线(铜缆和光纤)。到23:30,我们已经可以从巴黎ping通位于里斯本的PoP!
安装工作于5月7日完成,最后执行了PDU配置、OOB端口交叉连接以及IXP端口端到端检查等任务。我们的交换机和防火墙配置均可正常运行,无需请求Equinix更改配置。
最终安装效果如下:

由于我们要求非常高,目前还不能完全满意。例如,机架后面板还没有达到我们期望的整洁程度。不过,等危机缓解、我们可以再次前往葡萄牙时,就会解决这个问题。
“事后复盘”:哪些做法有效、为何有效,以及有哪些方面可以改进
尽管我们成功应对了挑战,对此深感欣喜和自豪,但我们仍希望退一步审视哪些做法行之有效,尤其是哪些方面还有改进空间。
有效的做法:
- Equinix:当服务不尽如人意时,向提供商反馈很重要;而当服务表现出色、甚至超出预期时,给予肯定则更为重要,这次正是如此。从销售和高级管理团队到数据中心技术人员,我们获得的支持和快速响应令人赞叹,尤其是在那段艰难时期。因此,衷心为Equinix点赞!
为什么这样做能奏效?
- Volterra本来就是一家以分布式办公和远程优先为主的公司。尤其是负责NetOps的法国团队,成员分布在法国各地,已习惯使用协作工具远程办公。
- 我们有足够的备用硬件和实验室硬件可供使用,因此得以按时完成
- 上述简要介绍的流程源于多年的部署实践和经验,并经过持续迭代改进,最终取得了成效。
- 与供应商保持良好关系对我们至关重要。遇到问题时,我们会立即与他们通话,并坦率地指出问题;这也有助于他们持续改进,不仅让我们受益,也惠及他们的所有客户。
- 对速度、价格和质量的要求:必须设定高标准,包括在需要资源之前就提前投入!
哪些方面可以改进?
- 我们意识到,公司内只有少数几个人(3 至 4 人)能够处理此类部署,因此需要找到一种可扩展的方法
- 此外,我们还希望改进预发布流程,避免必须先进行完整的预发布。
- 最后,此类部署不仅是技术问题:销售和售前团队必须了解整个项目及各个步骤所需的时间,不能认为网络运维团队可以解决所有问题,因而在未充分评估时间安排的情况下就将项目交给他们。
我们在首次远程举行的RIPE会议(RIPE 80)上介绍了这一部署,可在此观看录像:
相关博客文章
Thingbot正转变为攻击平台
Lori MacVittie重点介绍了F5 Labs对2018年1月至6月全球物联网设备攻击的研究,并指出了其中令人警醒的影响。物联网设备不仅持续遭到利用,还被转变为攻击平台,这意味着攻击者可以更充分地利用这个必然增长的市场。
借助F5全新Quick Start,在AWS上快速开展业务
在AWS re:Invent开幕前,我们很高兴与大家分享F5与AWS之间全新的Quick Start集成。F5的Tom Atkins将介绍该服务如何启动、配置和运行在AWS上部署工作负载所需的计算、网络、存储及其他AWS服务。