AI数据抓取机器人冲击高校图书馆 数字档案公共访问面临威胁
全球多地的大学图书馆和文化机构正遭受AI数据抓取机器人的严重干扰，导致网站崩溃或运行缓慢。尽管部分大型AI公司支持统一的退出信号，但自愿遵守机制无法覆盖所有第三方抓取工具，一些机构被迫考虑采取可能阻碍开放获取的限制性措施。
学术图书馆正面临大量数据抓取机器人的侵袭，这些机器人正在拖慢甚至瘫痪原本为学生、研究人员和公众提供服务的网站。
研究人员发现，有关图书馆遭受机器人攻击的报告自2024年底开始出现在北美、欧洲和大洋洲地区。
北卡罗来纳大学教堂山分校报告称，曾在一天内收到来自数千个不同互联网地址的超过1.1万次芬兰音乐检索请求。AI抓取机器人有时会无视robots.txt指令，每秒可请求数千份文档。古腾堡计划（Project Gutenberg）提供其整个图书馆的一键下载功能，但指出许多AI机器人编程过于粗糙，无法使用这种更为规范的方式获取数据。
这些攻击使图书馆网站频繁下线或运行迟缓，学生、教职员工和公众的正常访问受到严重影响。数字化历史文献和政府文件的公共访问正面临风险，普通用户不得不与来自机器人农场的无限流量竞争资源。图书馆因此承受着更大的工作负担和技术挑战以维持开放获取，而机器人滥用行为也削弱了机构将馆藏上线公开的意愿。
Anthropic、OpenAI、谷歌和微软已表示支持在网站的robots.txt文件中采用单一、标准化的退出信号，以阻止其网络爬虫抓取内容。
然而，遵守这一新退出信号完全出于自愿，且无法约束来自第三方公司和小型AI初创企业的问题机器人。
面对持续的压力，一些机构正在考虑引入验证码（CAPTCHA）或登录要求等限制性措施。专家指出，这些做法可能会进一步阻碍开放获取，与图书馆保障信息自由流通的使命相冲突。