机器人程序成为图灵安全测试的克星

Lori Mac Vittie杰出工程师兼首席技术布道师 | F5

机器人很酷。机器人也很可怕。机器人代表着未来。机器人每天都在变得更智能。

我们对机器人是感到沮丧还是着迷，取决于所谈论的机器人类型。一方面，聊天机器人通常被视为企业数字化转型战略的关键组成部分。面向消费者时，它们可以快速回应各种问题和咨询；面向企业内部时，它们可以执行任务并回答状态相关的问题，无论是刚提交的费用报销单，还是全新应用的当前容量。

另一方面（诚然，也是更阴暗的一面），有些机器人是恶意的，而且危害极大。例如，物联网设备机器人，即那些已遭入侵并加入“死星”僵尸网络的物联网设备。还有一些机器人，其唯一目的就是通过欺骗手段抓取数据、窃取信息和阻碍业务运营。

我们今天关注的正是后一类机器人，因为它们正变得聪明得多。遗憾的是，如今它们已占互联网“用户”的大多数。

事实确实如此。所有互联网流量中有52%并非来自人类。其中一部分来自企业间API和合法机器人，例如搜索索引程序和媒体机器人。但也有相当一部分是不折不扣的恶意机器人。据追踪这些数字害虫的Distil Networks称：“恶意机器人占所有Web流量的20%，而且无时无处不在。”对于大型网站，恶意机器人占流量的21.83%，较2015年增长36.43%。其他研究也得出了类似结论。无论这些数据来自哪一方，对企业而言都不是好消息。

Distil Networks的报告指出：“2016年，三分之一（32.36%）的网站遭遇过恶意机器人流量激增，峰值达到平均水平的3倍，且每年平均发生16次此类流量激增。”流量突然激增会导致性能问题（负载越高，性能越低），还可能造成停机。

如果机器人攻击本地部署的应用，不仅可能导致服务中断，还会增加该应用的相关成本。许多应用仍部署在需要许可证的平台上。每启动一个新实例，账目上就会多一笔费用。扩展软件需要付出实际成本。无论许可证费用如何，每笔事务都会产生相关成本，因为硬件和带宽的价格仍未达到我们期望的水平。

在云端，扩展通常更容易，但仍需为此付费。云端的计算资源和带宽都不是免费的。与本地部署环境一样，机器人流量会导致真实交易的成本上升。

答案当然很简单：在流量到达应用之前将其拦截。

这听起来容易，实际却难得多。安全系统不得不像“参与者C”那样工作，正如图灵测试的标准解读所描述的那样。简单回顾一下：图灵测试要求提问者（参与者C）判断参与者A和B中谁是机器、谁是人类，而且只能依据书面回答来判断，否则答案就显而易见了。很简单。

如今，安全解决方案面临着类似的情况：必须仅凭数字化传递的信息来区分人类与机器。

Web应用防火墙：图灵安全测试中的参与者“C”

Web应用防火墙（WAF）正是为此而设计。无论是以服务形式部署、本地部署还是部署在公有云中，WAF都能检测机器人并拒绝其访问目标资源，从而保护应用免受机器人侵扰。问题在于，许多WAF只会过滤与已知恶意用户代理和IP地址相匹配的机器人。但机器人正变得越来越智能，它们懂得轮换IP地址和更换用户代理来逃避检测。Distil指出，52.05%的“恶意机器人会加载并执行JavaScript，这意味着它们安装了JavaScript引擎”，由此可见其智能程度正在不断提高。

这意味着，要成功识别并拒绝恶意机器人，就需要掌握更多有关“用户”的信息。好消息是，这些信息确实存在，而且都是数字化的。正如可以从人的肢体语言、说话方式和用词习惯中了解大量信息一样，也可以从每笔事务所携带的数字信息中获取大量线索。

通过适当结合威胁情报、设备画像和行为分析，WAF可以准确区分恶意机器人与合法用户，无论后者是人类还是机器人。您的选择将决定机器人能否绕过安全策略，并最终“通过”图灵安全测试。

• 威胁情报
  威胁情报将地理位置与主动流量分类相结合，并尽可能利用来自可信来源的情报源，帮助识别恶意机器人。这本质上是“安全大数据”，可让整个安全合作伙伴生态系统共享情报，从而及时、更准确地识别最新的机器人攻击企图。

设备画像
设备画像分析包括将请求与已知的BOT特征进行比对，并执行身份检查。操作系统、网络、设备类型，以及可从连接中获取的所有信息（数量相当可观），都可以加以利用。指纹识别也很有价值，因为浏览器（以及BOT）共享的信息量（可能并非有意）几乎足以对其进行唯一识别。有关这一理论的精彩解读，可参阅EFF网站。值得注意的是，统计结果表明，截至2007年，仅需32.6比特的信息即可唯一识别个人。用户代理字符串包含约10.5比特的信息，而BOT会主动提供这些信息。行为分析
然而，在数字世界中，画像可能瞬间发生变化，位置也可能被隐藏或伪造。因此，要从合法流量中识别恶意BOT，还需要进行行为分析。这通常采用某种质询形式。用户会看到验证码和“我不是机器人”复选框，但质询BOT的方式并不只有这些。行为分析还会监测会话和事务异常，以及暴力破解访问尝试。

同时使用这三种方法可提供更全面的上下文，使WAF能够准确识别恶意机器人并拒绝其访问。

我们（这里指公司层面的“我们”）一直将这种独特的变量组合称为“上下文”。如今，上下文已成为许多安全解决方案不可或缺的组成部分，包括访问控制、身份管理和应用安全。上下文对于以应用为中心的安全策略至关重要，也是WAF准确有效应对恶意机器人的关键能力。上下文可提供“全局视图”，帮助WAF准确区分恶意流量与正常流量，从而保护宝贵资产并控制业务运营成本。

解决之道已经有了。机器人流量将长期存在，而借助合适的WAF，可以提升防范恶意机器人窃取数据和资源的能力，避免其对企业利润造成切实影响。

关于作者

Lori Mac Vittie杰出工程师兼首席技术布道师 | F5

Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师，在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构，还是探索可扩展系统的极限，她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前，她曾担任技术编辑，并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位，著述颇丰，出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏，并且对奶酪有着毫不掩饰的鲜明见解。

Lori Mac Vittie 的更多博客文章