爱可可-爱生活
26-08-31 08:14 微博认证:AI博主 2025微博新锐新知博主

【互联网公地正在被“僵尸电视机”啃食】kernel.org 维护者近日披露,其服务器 20% 的 CPU 算力正被 AI 爬虫毫无意义地空转消耗。这些爬虫放着高效的 Git Clone 不用,非要用最笨的办法逐页抓取 HTML 渲染出的提交记录。更棘手的是,爬虫已进化到利用“移动端/智能电视代理 SDK”伪装成数百万个真实住宅 IP,导致传统的封禁手段彻底失效。为了生存,维护者不得不部署 Anubis 验证系统强制访问者进行算力证明(PoW)。这演变成了一场荒诞的军备竞赛:当网站提高难度以阻挡爬虫时,普通用户的手机会发烫、电池狂掉,而拥有无限算力的 AI 实验室却能轻松破解。这种“防御税”最终由真实人类买单。这件事揭示了生成式 AI 繁荣背后的阴暗面:为了获取所谓的“纯净数据”,爬虫正以一种近乎寄生的方式榨干开源基础设施。当匿名访问的成本高到普通人无法承受,我们引以为傲的开放互联网可能正被迫走向“全面登录制”的围墙花园。对于开发者而言,这不仅是技术对抗,更是对互联网公地契约的一次结构性破坏。

发布于 北京