我很高兴向大家介绍我的全新播客系列《全球CISO:由防御者打造,为防御者服务》。我担任CISO已有20多年,目前是F5的现场CISO。经验是很好的老师,但学习成本可能很高。因此,我推出了这一播客系列,探讨CISO和CIO如何更好地应对当今世界日新月异的技术变革,并为未来的信息安全挑战做好准备。
F5为170多个国家/地区的23,000多家企业客户提供支持,其中包括全球规模领先的银行、汽车制造商和电信服务提供商。去年,我奔波约300,000英里,与一些业务极为复杂的组织合作。本播客系列将以这些经历为视角,探讨当今信息安全、合规和风险管理领域的重要趋势。我将分享哪些方法行之有效、哪些效果不佳,以及CISO和CIO如何借助AI革命的力量,在快速变化的世界中蓬勃发展。

立即收听
- 第1期:“驾驭API、AI安全与PQC”
- 第2期:“自动化优先:CTO的API、可观测性与供应商问责实战指南”
以下是我在第一期节目中分享的一些要点:
警惕国家级AI模型中的意识形态倾向
在争夺全球AI领导地位方面,美国和中国正竞相取得全球主导地位,并扩大在全球南方的影响力。然而,两国都在各自的AI技术栈中加入意识形态约束。美国《AI行动计划》以地缘政治为主线,推动美国国家标准与技术研究院(NIST)从其风险管理框架中删除气候变化、多元化、公平与包容(DEI)以及虚假信息等议题。中国官方AI技术栈以开源(实际上是开放权重)的名义推广,全球南方可便捷获取,其构建目标是确保遵循社会主义原则。
我认为,这些AI模型及其所推动的技术栈中包含的意识形态因素,可能会阻碍两者的普及。例如,如果美国的AI模型不纳入气候变化相关数据,保险业的精算师是否愿意依赖这些模型进行财产与意外伤害风险评估和预测?如果使用中国的AI模型开展金融市场分析,坚持社会主义原则又能带来什么价值?我认为,许多全球性组织会希望避开带有意识形态纯粹性倾向的AI模型。
在美国与中国围绕AI展开的意识形态竞争中,欧盟可能成为受益的黑马,值得关注。欧盟未必是全球AI创新的领军者,但欧洲科技公司取得了不少出色成果,法国也拥有众多优秀的数学家。欧盟的AI治理方式力求避免意识形态偏见,转而侧重风险管理、风险接受,并对以被认定为不负责任的方式部署AI的企业处以重罚。因此,现在还不能低估欧盟。
要点:技术领导者在选择采用哪些AI模型和技术栈时,必须慎重考虑,因为这些早期决策将产生深远影响,并可能导致高昂的退出成本。无论如何,各方预计仍将继续推动开放模型的采用。
预计欺诈活动将大幅增加
OpenAI首席执行官Sam Altman最近在台上谈到,AI系统实施的欺诈行为大幅增加。这也与F5的经验相符。我们曾指出,大多数自动图灵测试和CAPTCHA验证早已失去实际作用,面对高级机器人时尤其无效。但我认为,防御人员看到ChatGPT智能体可以轻易绕过CAPTCHA限制时,还是感到措手不及。
我们还发现大量语音欺诈活动。如今,AI智能体能够使用非常逼真的当地口音,听起来就像住在隔壁的人。利用语音邮件和短信网络钓鱼、社会工程、深度伪造以及日益逼真的垃圾邮件来利用人们轻信心理的AI欺诈活动,已增加约2,400%。
做好准备,因为由AI助长的欺诈将会大幅增加。利益驱使之下,犯罪分子正朝这个方向发展。
要点:AI正在加剧欺诈,而CAPTCHA等传统防御措施已无法应对。CISO必须优先开展员工培训,并采用自适应的AI驱动型安全策略,以应对通过语音、文本和社交媒体渠道实施且迷惑性日益增强的AI辅助诈骗。
将“保护推理安全”纳入您的岗位职责
CISO已经肩负诸多职责。我们需要负责保护数据、电子邮件、应用、边界、边缘、网络和设备的安全,现在还需要承担推理安全职责。
这是因为,推理已成为新的攻击面。如今,推理直接关系到影响业务、财务、合规和声誉的决策,而攻击者可以通过提示词注入、模型操纵等多种攻击手段利用推理引擎。CISO现在不仅必须保护AI周边的基础设施,还必须确保AI决策过程的安全,因为推理既是新的攻击途径,也是关键业务功能。
一种新的推理操纵方法是“回声室”攻击。这是一种提示词注入形式:攻击者精心设计一系列提示词,在不直接要求生成未经授权内容的情况下,逐步诱导模型给出未经授权的响应。这有点像通过多轮提示词中的细微暗示,对大语言模型(LLM)进行心理操纵,诱使模型自行越狱或绕过自身控制机制。
这些“回声室”攻击的成功率约为80%至90%。那么,保护推理安全现在是否属于CISO的职责?如果不是,组织中还有谁会承担这项责任?
要点:推理正逐渐成为一个关键的新攻击面,CISO必须扩大职责范围,确保AI决策过程本身的安全。在我看来,如果您的职务名称中同时有“首席”和“安全”,那么无论现在是否已意识到这一点,这终将成为您需要解决的问题。不妨现在就着手应对。
中国在AI领域是否占据优势?
我认为,中国实际上可能在AI领域占有优势,不过这完全取决于衡量标准。我经常在亚洲各地活动,也与许多在当地生活和工作的人交流过。在我看来,中国在以切实有意义的方式应用AI方面已取得先发优势。中国或许没有迄今开发出的规模最庞大的模型,但其现有模型已投入实际应用,用于解决供应链问题、调整货运路线,以及实现其他实用的现实功能。
如果目标就是构建一个拥有20京参数的超大模型,我认为这无可厚非。但目前在美国和欧洲,我看到构建如此强大的能力与将其真正落地之间仍存在相当大的差距。借用直线加速赛的比喻,就是动力虽已具备,却还未能有效传递到地面。
《美国人工智能行动计划》高度重视能源开发,以及AI工厂和AI数据中心的建设。该领域的投资者正投入巨额资金,但我们似乎尚未创造实际价值。可引用近期引发广泛关注的研究,说明在当前AI应用阶段,能够创造商业价值的AI项目寥寥无几,并由此自然引出新技术应用中的“幻灭低谷”阶段。
问题的一部分在于,美国拥有规模更大、能力更强的AI模型,并不意味着我们正在利用这些模型推动有意义的业务成果,而且AI领域几乎没有多少竞争壁垒。拥有规模更大的模型只能带来短期竞争优势,无法长期维持。
要点:总体而言,中国可能在AI领域占据优势。这并非因为中国构建了规模最大的模型,而是因为中国迅速将模型应用于现实问题。与此同时,美国和欧洲更注重规模而非实际成效,可能面临落后的风险。中国可用的电力容量也远高于美国,而美国无法在短期内解决这一问题。除了“钻探、钻探、再钻探”,似乎别无选择。我们都知道这种做法不可持续,但这就是全球竞赛态势下的所谓“逻辑”。
助您抢先应对威胁的首选信息来源
我们希望《The Global CISO》成为您及时了解影响行业和未来的威胁与趋势、抢占先机的首选信息来源。如果您希望我探讨某些主题,请给我留言或通过LinkedIn与我联系。
立即订阅,即可在您常用的播客平台上收听《The Global CISO: For defenders by defenders》的所有节目,并与团队、同行和人脉圈分享。
欢迎收听我的首期节目:“驾驭API、AI安全与PQC。”
此外,别忘了收听我的第2期节目《自动化优先:CTO的API、可观测性与供应商问责实战指南》。
相关博客文章
Thingbot正转变为攻击平台
Lori MacVittie重点介绍了F5 Labs对2018年1月至6月全球物联网设备攻击的研究,并指出了其中令人警醒的影响。物联网设备不仅持续遭到利用,还被转变为攻击平台,这意味着攻击者可以更充分地利用这个必然增长的市场。
借助F5全新Quick Start,在AWS上快速开展业务
在AWS re:Invent开幕前,我们很高兴与大家分享F5与AWS之间全新的Quick Start集成。F5的Tom Atkins将介绍该服务如何启动、配置和运行在AWS上部署工作负载所需的计算、网络、存储及其他AWS服务。