生成式AI安全与防范未经授权的内容抓取

Jim Downey

设想一下，您是一位以提供专业知识为生的专家，人们付费向您提问。突然间，一台机器从您的头脑中汲取了这些专业知识，学会了比您更快地回答问题，并夺走了您的生计。随着生成式AI的兴起，依赖内容开展业务的企业正面临这一困境。

我们或许尚不清楚生成式AI将把我们带向何方，但可以肯定的是，它将改变我们消费内容的方式，并由此冲击依赖内容分发的企业。这与互联网改变我们获取新闻和娱乐内容的方式类似，曾使许多传统新闻媒体遭受重创。

生成式AI带来的颠覆将影响销售内容的企业，例如媒体、新闻和图库照片提供商，也会影响依靠内容吸引受众观看付费广告的企业。同样，利用内容吸引潜在客户，以推广产品和服务、塑造品牌形象和建立客户关系，或通过行动号召促使客户采取行动的企业也将受到影响。

虽然用于搜索的内容抓取早在互联网发展初期就已出现，但ChatGPT等基于LLM的应用采用了截然不同的运作方式。搜索引擎提供摘要和指向原始内容的链接，通过提高内容的可发现性来创造价值。相比之下，由LLM驱动的聊天应用不一定会提供指向原始内容的链接，而是吸引用户留在聊天界面中，通过进一步提示获取更多信息，从而使内容创作企业无法从中获得任何价值。

组织不能仅依赖robots.txt文件。该文件可供组织声明爬虫的抓取范围，但并非所有为训练LLM而抓取内容的组织都会遵守robots.txt文件。目前，人们仍在争论LLM究竟只是复制和再现内容，还是会像创作者一样综合生成内容。版权法对LLM抓取有何影响，目前正在法庭上讨论。法律和规范将如何演变尚难判断，但组织现在就应开始考虑如何保护其业务所依赖的内容。

抓取行为可以缓解，但并非易事。事实上，这并不是什么新问题。抓取工具一直试图收集航空公司、零售连锁企业和酒店的竞争数据，包括机票价格、商品价格和房价。这些企业不仅希望避免竞争数据流失，还要应对抓取工具带来的流量负载，尤其是那些试图获取最新数据的工具。在某些情况下，这类流量可占网站总流量的98%，影响网站性能，甚至导致网站崩溃。

抓取者使用机器人自动收集数据。遗憾的是，CAPTCHA和IP地址拒绝列表等传统机器人缓解机制对抓取机器人无效。由于抓取通常被视为合法行为，网上有许多服务可用于绕过CAPTCHA。这些服务利用机器学习或点击农场来破解CAPTCHA，速度快、成本低，破解这些恼人验证题的效率远高于大多数人。IP拒绝列表是CAPTCHA最简单的替代方案，但由于抓取者可以使用相关服务，这种方法同样无效。借助这些服务，抓取者可以通过数千万个住宅IP地址发送请求。此类IP地址数量庞大且持续增长，因此维护拒绝列表完全不可行。

即使是许多专用的机器人管理解决方案，也难以应对数据抓取，因为这些解决方案依赖检测代码来收集信号。以登录为例，浏览器首先发出HTTP GET请求，以获取包含登录表单的网页。在该页面上，JavaScript会在后台运行，收集有关浏览器以及用户键入和鼠标移动模式的数据。当用户提交凭据时，JavaScript会将信号数据插入HTTP POST请求。机器人管理解决方案作为反向代理，会拦截并分析该请求，以确定发出请求的代理是否为机器人。

然而，许多内容网站无需结合使用GET和POST即可访问博客文章、新闻内容或定价信息。抓取工具只需发送一个HTTP GET请求，就能获得所需的全部内容，因此无法通过插桩收集信号。

我们知道，许多机器人管理解决方案无法防范抓取，因为有多项服务提供可轻松访问抓取内容的API。以ZenRows为例，该服务列出了其能够绕过的反机器人供应商。

值得庆幸的是，F5 Distributed Cloud Bot Defense通过一种称为中间页的技术解决了这一问题。该页面可快速加载并收集数据，随后加载所请求页面的内容。F5多年来持续帮助大型航空公司和零售商抵御抓取，并不断改进这项技术，使其快速、高效且有效。每个用户会话只会执行一次中间页，因为一旦确认代理为人类，除防范重放滥用外，无需再进行检查。

作为一款高效的机器人管理解决方案，Distributed Cloud Bot Defense可帮助内容创作者防止其内容被抓取用于构建LLM模型。对于希望保护自身内容和业务的组织，Distributed Cloud Bot Defense是值得信赖的选择。

关于作者

Jim Downey

Jim Downey 的更多博客文章