无法无天的AI爬虫，正在伪造身份、修改 User-Agent、使用住宅IP代理来绕过限制，攻击各种网站。

　　尤其是中小开发者，由于他们防护措施较为简单，被攻击代价不大，也缺少更有力的技术和法律手段，越来越多地成为AI爬虫肆意爬取数据的牺牲品。

　　原本就小本经营的网站，因为爬虫的疯狂攻击而卡顿延迟，消耗大量服务器资源，运营成本陡然拉高。而AI爬虫在爬取数据后也只是提上裤子走人，负责更是无从谈起。

　　AI爬虫是一种基于机器学习和大数据技术的自动化数据采集工具，专为训练生成式AI模型而设计。它通过模拟人类行为或绕过传统反爬机制，以更高效率、更大规模抓取互联网上的文本、图片、视频等内容，帮助AI训练。

　　robots.txt是网站根目录下的一个纯文本文件，用于向搜索引擎的爬虫等各路爬虫声明网站的抓取规则。它通过简单的语法指令，告知搜索引擎哪些页面允许抓取，哪些应被禁止访问。

　　虽然这只能算个君子协议，不少爬虫也会无视，基本上偷偷摸摸爬取，但这么多年来还是保持了一点体面。

　　AI爬虫可就不一样了，它们优先抓取高价值数据，经常无视robots.txt，完全是法外狂徒的做派。

　　而且AI爬虫请求量远超人类用户，每秒请求量数万到数十万次，堪称赛博世界的僵尸撞门。Fedora Pagure 项目的管理员称，最近AI爬虫导致Fedora 代码托管平台 pagure.io瘫痪。由于大部分恶意流量来自.br（巴西）的 IP 段，只能封锁整个 .br（巴西）的IP段才勉强恢复访问。

　　开源开发者非常依赖开放共享精神，因为这样才能吸引更多人为项目添砖加瓦，而这样的项目设防程度不高，很容易被AI爬虫攻击。很多开源项目价值很高，是AI极其愿意汲取的养分来源，AI爬虫就肆无忌惮攻击这些项目。

　　从公开网站资料中攫取数据，还有另一个问题，人家辛辛苦苦创造的数据被随意拿走，以后AI生成的代码、文章、设计作品与原作高度相似，却无需向创作者支付任何费用。

　　开发者不得不拿出大量精力限制AI爬虫的攻击，比如设置验证码、提高访问门槛等，这却苦了原本正常访问的普通用户。他们原本是人类，却不得不因为AI破坏，只能适应更高的访问门槛，吭哧吭哧进行验证，证明自己不是爬虫。

　　开放的互联网精神，越来越像一个笑话。移动互联网时代，大厂们用一个个App画地为牢，把自己的数据和用户圈起来；到AI时代，直接铁索连江，爬虫过不去，用户也过不去了。

　　我们之前在《AI污染，触目惊心》里提到过，AI能爬取的网络就是个大粪坑，里面很多信息要么是虚假的，要么毫无意义。

　　这么多虚假语料一把屎一把尿喂大的大模型，还在放爬虫寻找高价值信息，但高价值信息重重保护，根本接触不到，只会让AI爬虫接触的语料进一步劣化，最终互联网里高价值的信息被锁住，反倒是AI不断生成的垃圾内容大行其事，彻底把人类用户和AI全部淹没。

　　根据最新数据，2024年全国婚姻登记数相比2023年下降了约20.5%，同时创下了自1986年有公布统计以来的新低。

　　对于这个数据，倒也不太意外，毕竟今天的大多数年轻人对婚姻都抱有比较悲观的想法，甚至连恋爱都变得十分谨慎。正所谓：智者不入爱河，建设美丽中国。

　　因为不论是恋爱还是结婚，都需要钱呀。哪怕是日常我们和同事、朋友的交往，也无不需要money。

　　去视频号、B站、小红书搜索「夏不绿读书」，关注我，让我们一起用阅读凿开心中的冰海，在阅读这座避难所里，一起做忠于自己的普通读者。

　　快刀财经已同步入驻：36氪、虎嗅网、钛媒体、i黑马、品途网、商界、趣头条、砍柴网易语言设置公网ip代理、梅花网、艾瑞专栏、亿欧网、创业邦、知乎、雪球、今日头条、百度百家、界面新闻、一点资讯、网易号、搜狐自媒体、凤凰网、新浪财经头条、新浪看点、UC大鱼号、天天快报、企鹅自媒体、投资界、思达派、猎云网、简书等30多家自媒体平台。

　　商业快媒体、思维孵化器、价值试验场和洗欲中心。专注互联网以及互联网正在影响的其他行业。有趣、有料、有态度，加入我们，拥有您的私人商学院。致力于为用户提供营销策划、社群电商、创业投资和知识充电服务。