苹果AI内容抓取机器人被屏蔽
8月30日,《连线》杂志发表了一篇博客文章,揭示了一个有趣的现象:不少主流媒体开始拒绝苹果的数据抓取工具Applebot的访问。Applebot初次进入公众视野是在2014年11月,随后苹果在2015年5月正式公布了这一技术。作为Applebot的升级版,Applebot-Extended在过去十年间持续抓取网页内容,旨在提升Siri和Spotlight搜索等功能的表现。
近期的研究显示,多数主流出版机构通过robots.txt文件来限制苹果的抓取行为。据统计,大约有6%到7%的高流量网站已阻止了Applebot-Extended的访问。另一项由Ben Welsh进行的研究则指出,在他考察的网站样本中,有高达25%的网站对Applebot-Extended实施了屏蔽措施。此外,研究还发现,OpenAI的爬虫在新闻网站中的遭遇更为严峻,被53%的站点拦截,而谷歌的Google-Extended爬虫也被43%的网站拒绝。
《连线》分析认为,尽管网站或许并不介意苹果的智能搜索触及它们的内容,但Applebot及其增强版之所以被较低比例的网站阻挡,主要是因为这些机器人的知名度相对较低,尚未引起广泛的企业关注。
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rxxp.cn/pXIU/126525.html
如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈邮箱:809451989@qq.com,一经查实,立即删除!