【新智元导读】AI爬虫是互联网最顽固的「蟑螂」，不讲规则、压垮网站，令开发者深恶痛绝。面对这种AI时代的「DDoS攻击」，极客们用智慧反击：或设「神之审判」Anubis，或制造数据陷阱，以幽默和代码让机器人自食其果。这场攻防战，正演变成一场精彩绝伦的网络博弈。

　　Triplegangers是一家仅仅由七名员工运营的公司，他们花费十多年时间建立了自称是网络上最大的「人类数字替身」的数据库，即从实际人体扫描得到的3D图像文件。

　　「OpenAI使用了600个IP来抓取数据，日志还在分析中，可能远不止这些」，Tomchuk最终发现，导致他们网站崩溃的元凶竟然是OpenAI的爬虫机器人。

　　早在搜索引擎时代，就已经有「搜索引擎机器人」，那个「古老年代」的机器人还约定俗成的遵循各个网站上会存在的一份文件——robots.txt。

　　阻止AI爬虫机器人是徒劳的，因为它们会撒谎、更改用户代理、使用住宅IP地址作为代理来骗过网络「防守」。

　　「他们会不断地抓取你的网站，直到它崩溃，然后还会继续抓取。他们会点击每一个页面上的每一个链接上，一遍又一遍地查看相同的页面」，开发者在帖子中写道。

　　AI机器人除了「免费」爬取信息外，还会额外增加所爬网站企业的运营费用——在这个云服务的时代，几乎所有被爬取的企业都在云上，大量的爬虫流量不仅无法带来收益，还会增加他们的云服务器账单。

　　FOSS开发者Xe Iaso在博客中描述了AmazonBot如何不断攻击一个Git服务器网站，导致DDoS停机韩国代理服务器免费ip。

　　本质上，Anubis确保的是「真实人类使用的浏览器」在访问目标网站，而不是AI爬虫——除非这个爬虫伪装的足够「先进」，就像通过图灵测试一样。

　　「Anubis称量了你的灵魂（心脏），如果它比一根羽毛重，你的心脏就会被吃掉，然后你就彻底死了」。

　　Iaso在3月19日将其分享到GitHub上，仅几天时间就获得了2000个星标、20位贡献者和39个分支。

　　SourceHut的创始人兼CEO Drew DeVault描述说，他每周要花费「20% 到 100% 的时间来大规模缓解过于激进的 LLM 爬虫」，并且「每周经历数十次短暂的服务中断」。

　　Jonathan Corbet，一位著名的FOSS开发者，他运营着Linux行业新闻网站 LWN，警告称他的网站正受到「来自 AI 抓取机器人的 DDoS 级别的流量」影响而变慢。

　　Kevin Fenzi，庞大的Linux Fedora项目的系统管理员，表示AI抓取机器人变得如此激进，他不得不封锁整个巴西的访问。

　　几天前在Hacker News上，用户xyzal建议用「大量关于喝漂白剂好处的文章」或「关于感染麻疹对床上表现的积极影响的文章」来加载robots.txt禁止的页面。

　　「我们认为需要让机器人访问我们的陷阱时获得负的效用值，而不仅仅是零价值」，xyzal 解释说。

　　一月份，一位名为Aaron的匿名创作者发布了一个名为Nepenthes的工具，其目的正是如此。

　　而作为网友心目中的「赛博菩萨」的Cloudflare，也许是提供多种工具来抵御AI爬虫的最大商业玩家，上周发布了一个名为AI Labyrinth的类似工具。

　　它的目的是「减慢、迷惑并浪费不遵守禁止爬取指令的AI爬虫和其他机器人的资源」，Cloudflare 在其博客文章中描述道。

　　「当AI爬虫跟随这些链接时，它们会浪费宝贵的计算资源处理无关内容，而不是提取合法网站数据。这大大降低了它们收集足够有用信息以有效训练模型的能力」。

　　相比起反击，另一种观点是「Nepenthes有一种令人满意的正义感，因为它向爬虫提供无意义的内容并污染它们的数据源，但最终Anubis是对网站有效的解决方案」。

　　DeVault也公开发出了一则诚恳的请求，希望有一个更直接的解决办法：「请停止将LLMs或AI图像生成器任何这类垃圾合法化。恳求停止使用它们，停止谈论它们，停止制造新的，就这么停下」。

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。