AI公司不斷開(kāi)發(fā)新爬蟲(chóng)繞過(guò)阻攔 網(wǎng)站運營(yíng)跟不上

在網(wǎng)路建立的公司過(guò)阻早期，大家有了一個(gè)不成文的不斷不上協(xié)議，即一個(gè)名為“robot.txt”的新爬文本文件——也就是攔截列表中將決定誰(shuí)能夠訪(fǎng)問(wèn)你的網(wǎng)站，這主要針對機器人/爬蟲(chóng)。蟲(chóng)繞一般網(wǎng)站主要面向搜索引擎開(kāi)放，攔網(wǎng)以讓搜索引擎帶來(lái)流量。站運但這個(gè)不成文的營(yíng)跟約定正在被人工智能公司打破。

已經(jīng)有許多網(wǎng)站為了保護權益正在試圖阻止一家名為 Anthropic 的公司過(guò)阻 AI 公司抓取網(wǎng)站內的內容。然而隨著(zhù)該公司不斷開(kāi)發(fā)新的不斷不上爬蟲(chóng)，來(lái)不及更新“robot.txt”文件的新爬網(wǎng)站成了被盜用資源的受害者。

根據 404 Media采訪(fǎng)跟蹤網(wǎng)絡(luò )爬蟲(chóng)和抓取工具網(wǎng)站的蟲(chóng)繞 Dark Visitors 運營(yíng)者，他在幫助其他網(wǎng)站運營(yíng)者更新“robot.txt”期間發(fā)現，攔網(wǎng)現狀非?；靵y。站運匿名運營(yíng)著(zhù)說(shuō)道：“代理生態(tài)系統瞬息萬(wàn)變，營(yíng)跟因此網(wǎng)站所有者基本不可能手動(dòng)跟上。公司過(guò)阻”

拿 Anthropic 距離，一些熱門(mén)網(wǎng)站例如路透社等在 robot.txt 中組織了“ANTHROPIC-AI”和“CLAUDE-WEB”兩個(gè)爬蟲(chóng)，他們曾由 Anthropic 的 Claude AI 聊天機器人使用，但目前該公司最活躍的爬蟲(chóng)實(shí)際上是“CLAUDEBOT”，因此這些網(wǎng)站都不會(huì )阻攔該爬蟲(chóng)。其他數百個(gè)復制粘貼攔截列表的網(wǎng)站也未能阻止該公司。

404 Media 采訪(fǎng)了許多網(wǎng)絡(luò )行業(yè)從業(yè)者，他們均表示面對 AI 公司的這種行為，鼓勵網(wǎng)站積極屏蔽此類(lèi)機器人/爬蟲(chóng)。網(wǎng)絡(luò )安全公司 StackAware首席執行官 Walter Haydock 就表示支持在“robot.txt”中添加大量的可能屏蔽對象，并說(shuō)道：“如果它們最終不存在，那么阻止它們也不會(huì )產(chǎn)生任何影響?！?/p>

他還表示該屏蔽列表說(shuō)到底也不過(guò)是互聯(lián)網(wǎng)的一個(gè)約定俗成，“阻止 AI 公司的代理依賴(lài)于 AI 公司尊重  robot.txt 文件，并且你還需要知道所有的 AI 抓取代理。對于大多數公司來(lái)說(shuō)，這種情況的可能性很低，因此我預計更多的創(chuàng )作者會(huì )將他們的內容轉移為付費觀(guān)看，以防止無(wú)限制的抓取?！?/p>