我们如何在新冠疫情期间远程部署网络PoP

F5生态系统 | 2020年5月19日

作为基于SaaS的控制平面的一部分,我们构建并运营自己的全球骨干网(AS35280),在各PoP之间使用多条100G和400G链路。

这样,我们不仅可以全面掌控各区域边缘节点之间的端到端连接,还能为客户的私有数据中心、边缘站点、公有云VPC(AWS、Azure、GCP)以及SaaS提供商提供同样的高性能、低延迟连接。

pop-blog-1
Volterra全球基础设施和专用骨干网

需求

我们在欧洲的布局已相当完善,覆盖巴黎、伦敦、阿姆斯特丹和法兰克福,但现有客户和新客户都需要我们在葡萄牙里斯本新设一个PoP。

这一切都在2020年初商定,原计划于2020年第3季度部署。当然,那还是在COVID-19疫情暴发之前 :)

危机发生后,我们发现骨干网络上的流量大幅增加(DDoS攻击也有所增加,相关内容将在后续博文中详述),客户的网络也出现了同样的情况。

他们要求我们在第3季度前完成部署,因为他们迫切需要这个PoP,更确切地说,要在5月底前完成。Volterra团队乐于助人,也喜欢迎接挑战,因此我们仔细评估了满足客户需求所需的时间:

  • 我们至少需要2周时间进行部署和测试,
  • 还需要1周进行验证

当时是4月初,这个时间安排看起来没问题,因此我们决定继续推进并启动项目,尽管由于以下原因,那其实是启动项目最糟糕的时机:

  • 旅行禁令,
  • 无法访问数据中心,
  • 全球组件短缺,
  • 更不用说健康风险了。

需要什么?

部署新的PoP不仅需要路由器、交换机和线缆,还需要:

  • 开展网络工程规划,为波分线路选择合适的位置和服务提供商,
  • 与选定的数据中心洽谈并达成协议(本例中为Equinix LS1),
  • 与IXP协商以获得对等互联端口,
  • 当然,还要订购相关硬件和材料(路由器、交换机、线缆、防火墙等)

我们的实施方法

由于危机仍在持续,无法及时获得所需硬件。因此,我们决定重复利用现有的一些硬件,其中大部分来自实验室。这是可以接受的权衡(例如,将使用Juniper QFX10K路由器,而不是原计划的MX10K)。

由于封控,通常会在数据中心进行的设备预部署工作(因为需要足够的电力和机架空间,当然还有……噪声问题!)只能改在家中完成。我们的基础设施首席技术官Raphaël有一间足够大的办公室(供电合同容量为60 A,在启动或运行耗电高达16 A的设备时非常实用!),因此整个预部署工作将由他独自完成,这样也能避免其他员工参与或外出。

pop-blog-2
准备和预部署

完成所有配置并经过多次测试后,我们将设备运往里斯本:

pop-blog-3
准备发货!

由Equinix远程运维服务在里斯本完成机架安装

尽管我们对自己的配置很有信心(而且无论如何都可以通过OOB或我们的骨干网进行远程访问),但这毕竟是第一次由其他人而不是我们亲自部署新的PoP 😅

pop-blog-4
我们已部署的其中一个机架

我们在全球采用相同的机架设计,目的是保持一致,并为新的里斯本PoP采用相同的配置。

因此,我们必须向Equinix远程支持人员提供极其准确的操作说明,以便他们复现相同的配置,只需“按照指南操作”即可。

以下是我们发送给Equinix的部分操作流程,便于其轻松完成所有设备的上架和连接。

需要处理的组件很多,不仅包括硬件设备(路由器、交换机、防火墙和服务器),还包括线缆,更重要的是,还要确定线缆所连接的交换机和服务器端口。

pop-blog-5

如下所示,考虑到Equinix技术人员需要完成大量安装工作,此流程已尽可能详尽。我们提供的信息越准确,效果就越好!

pop-blog-6

成功了吗?

是的!安装工作于5月5日开始,所有设备均已上架并通电,未发生任何硬件故障。也许是我们运气不错,也许是凭借经验妥善完成了运输和包装,也可能两者兼有。无论如何,一切运行正常。

第二天,Equinix技术人员完成了布线(铜缆和光纤)。到23:30,我们已经可以从巴黎ping通位于里斯本的PoP!

安装工作于5月7日完成,最后执行了PDU配置、OOB端口交叉连接以及IXP端口端到端检查等任务。我们的交换机和防火墙配置均可正常运行,无需请求Equinix更改配置。

最终安装效果如下:

pop-blog-7

由于我们要求非常高,目前还不能完全满意。例如,机架后面板还没有达到我们期望的整洁程度。不过,等危机缓解、我们可以再次前往葡萄牙时,就会解决这个问题。

“事后复盘”:哪些做法有效、为何有效,以及有哪些方面可以改进

尽管我们成功应对了挑战,对此深感欣喜和自豪,但我们仍希望退一步审视哪些做法行之有效,尤其是哪些方面还有改进空间。

有效的做法:

  • Equinix:当服务不尽如人意时,向提供商反馈很重要;而当服务表现出色、甚至超出预期时,给予肯定则更为重要,这次正是如此。从销售和高级管理团队到数据中心技术人员,我们获得的支持和快速响应令人赞叹,尤其是在那段艰难时期。因此,衷心为Equinix点赞!

为什么这样做能奏效?

  • Volterra本来就是一家以分布式办公和远程优先为主的公司。尤其是负责NetOps的法国团队,成员分布在法国各地,已习惯使用协作工具远程办公。
  • 我们有足够的备用硬件和实验室硬件可供使用,因此得以按时完成
  • 上述简要介绍的流程源于多年的部署实践和经验,并经过持续迭代改进,最终取得了成效。
  • 与供应商保持良好关系对我们至关重要。遇到问题时,我们会立即与他们通话,并坦率地指出问题;这也有助于他们持续改进,不仅让我们受益,也惠及他们的所有客户。
  • 对速度、价格和质量的要求:必须设定高标准,包括在需要资源之前就提前投入!

哪些方面可以改进?

  • 我们意识到,公司内只有少数几个人(3 至 4 人)能够处理此类部署,因此需要找到一种可扩展的方法
  • 此外,我们还希望改进预发布流程,避免必须先进行完整的预发布。
  • 最后,此类部署不仅是技术问题:销售和售前团队必须了解整个项目及各个步骤所需的时间,不能认为网络运维团队可以解决所有问题,因而在未充分评估时间安排的情况下就将项目交给他们。

我们在首次远程举行的RIPE会议(RIPE 80)上介绍了这一部署,可在此观看录像:

https://ripe80.ripe.net/archive/video/raphael-maunier3-the-challenge-of-operations-under-covid-19-restrictionsmain-20200513-132226.mp4

分享
标签: 2021

相关博客文章

F5纪念2021年世界艾滋病日
F5生态系统 | 2021/12/01

F5纪念2021年世界艾滋病日

值此世界艾滋病日,F5郑重承诺,将与员工、客户、社区和合作伙伴共同努力,消除社会对HIV感染者仍然存在的污名与偏见。

Thingbot正转变为攻击平台
F5生态系统 | 2018/11/29

Thingbot正转变为攻击平台

Lori MacVittie重点介绍了F5 Labs对2018年1月至6月全球物联网设备攻击的研究,并指出了其中令人警醒的影响。物联网设备不仅持续遭到利用,还被转变为攻击平台,这意味着攻击者可以更充分地利用这个必然增长的市场。

借助F5全新Quick Start,在AWS上快速开展业务
F5生态系统 | 2018/11/20

借助F5全新Quick Start,在AWS上快速开展业务

在AWS re:Invent开幕前,我们很高兴与大家分享F5与AWS之间全新的Quick Start集成。F5的Tom Atkins将介绍该服务如何启动、配置和运行在AWS上部署工作负载所需的计算、网络、存储及其他AWS服务。

为什么声明式模型对NetOps自动化至关重要?
F5生态系统 | 2018/04/30

为什么声明式模型对NetOps自动化至关重要?

为什么声明式模型对NetOps自动化至关重要?阅读F5博客,了解基础设施即代码如何简化网络扩展。

开源聚焦:F5基础设施即代码与多云可管理性
F5生态系统 | 2017/11/16

开源聚焦:F5基础设施即代码与多云可管理性

开源聚焦:基础设施即代码与多云。阅读博客,了解模板和Terraform如何简化F5应用服务的部署。

破解IT“无解困局”的答案:私有云
F5生态系统 | 2016/09/12

破解IT“无解困局”的答案:私有云

破解IT“无解困局”的答案:私有云。阅读F5博客,了解本地部署的敏捷性如何化解安全与速度难以兼顾的问题。