隨著不久前美國法官支持Meta、Anthropic的訴求,做出了AI廠商使用受版權(quán)保護的作品來訓練AI大模型屬于合理使用這樣的判決,AI業(yè)界真的是變天了。當法官認為硅谷AI大廠未經(jīng)版權(quán)方許可的行為“符合版權(quán)激發(fā)創(chuàng)造力、促進科學進步的目的”,直接讓擁有內(nèi)容的版權(quán)所有者變得人人自危。
就在全世界的內(nèi)容創(chuàng)作者和版權(quán)方都惴惴不安時,知名云服務(wù)提供商Cloudflare站了出來,日前該公司宣布將默認阻止AI爬蟲在未經(jīng)網(wǎng)站所有者許可或補償?shù)那闆r下抓取內(nèi)容。據(jù)悉,每一個新注冊Cloudflare的域名都將被詢問是否允許AI爬蟲訪問,從而有效賦予網(wǎng)站阻止AI爬蟲抓取其數(shù)據(jù)的能力。
Cloudflare的CEO馬修·普林斯在相關(guān)聲明中宣稱,“我們的目標是將控制權(quán)交還給創(chuàng)作者,同時繼續(xù)助力AI公司創(chuàng)新”。同時他還強調(diào)Cloudflare并未選擇與AI廠商敵對,該公司還將提供AI廠商“按次付費爬取”以獲取內(nèi)容,并表示“這是通過建立多方共贏的新模式,守護自由繁榮互聯(lián)網(wǎng)未來的關(guān)鍵舉措。”
當AI廠商從法律層面獲得了使用爬蟲抓取內(nèi)容的合理許可之后,全世界的內(nèi)容創(chuàng)作者就已經(jīng)失去用法律武器保護自己的可能,雙方的對抗將回歸技術(shù)攻防范疇。可是面對擁有強大技術(shù)實力的AI廠商,版權(quán)方保護內(nèi)容的防線說是紙糊的都不為過。所以在這時候,Cloudflare的出現(xiàn)無異于是救內(nèi)容創(chuàng)作者或版權(quán)方于水火之中。
當然,Cloudflare也不是做慈善的,其反AI爬蟲功能僅提供給使用Cloudflare服務(wù)的創(chuàng)作者。作為全球知名的網(wǎng)絡(luò)服務(wù)提供商,Cloudflare主要提供內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)、域名解析(DNS)、網(wǎng)絡(luò)安全防護(如DDoS防御)等服務(wù),反AI爬蟲則是其用于吸引創(chuàng)作者、網(wǎng)站站長使用相關(guān)服務(wù)的“香餌”。
事實上,大量的內(nèi)容創(chuàng)作者、網(wǎng)站站長、出版商等一切版權(quán)擁有者也幾乎絕對會咬鉤,因為他們正面臨著一場“生存危機”。因為當下有越來越多的用戶更喜歡通過與GeminiAI、ChatGPT、DeepSeek、文小言等AI聊天機器人對話的方式,來獲取所需信息,并且不愿意點擊聊天機器人提供的原始鏈接。
根據(jù)SEO方案解決商BrightEdge公布的數(shù)據(jù)顯示,谷歌搜索的AIMode今年6月在美國市場上線時,直接就導(dǎo)致傳統(tǒng)URL鏈接的用戶點擊率下降了30%。要知道網(wǎng)站站長、出版商的商業(yè)模式是通過內(nèi)容來吸引用戶點擊,再將用戶訪問產(chǎn)生的流量賣給廣告商來賺錢。如果用戶不訪問,那么網(wǎng)站就無法獲得維持運營所需的廣告收入。
在版權(quán)方看來,他們與AI廠商之間已經(jīng)不是“分贓不均”,而是AI廠商的出現(xiàn)導(dǎo)致他們不得不面臨“生存危機”,并且有相當多的AI廠商并沒有為AI爬蟲獲取的內(nèi)容付費。有鑒于此,一切能阻礙AI廠商使用自己數(shù)據(jù)迭代AI大模型的手段,在版權(quán)方看來都是可以接受的。
那么Cloudflare有能力抵抗AI爬蟲的進攻嗎?據(jù)悉,Cloudflare的5秒盾(5-secondchallenge)可謂是反爬蟲領(lǐng)域的一面旗幟,其會通過5秒等待時間配合多維度驗證(如請求頭、User-Agent、Cookies等)來區(qū)分真人用戶與自動化工具,從而讓無數(shù)爬蟲在此折戟。
事實上,Cloudflare不僅在傳統(tǒng)的反爬蟲領(lǐng)域有口皆碑,在面對新興的AI爬蟲時同樣也有建樹。AI爬蟲之所以會讓相當多傳統(tǒng)的反爬蟲手段失效,蓋因其實際上可以被視為是一種智能體,它們可以完全與真人一樣操作瀏覽器,從而導(dǎo)致以往被用于分辨機器和人類的驗證碼、瀏覽器等常規(guī)反爬蟲手段變得形同虛設(shè)。
對此Cloudflare拿出了被稱為“AI廢話迷宮”的AILabyrinth,它屬于通過誘導(dǎo)式陷阱來消耗爬蟲的資源,而非直接攔截的“蜜罐技術(shù)”。具體來說,Cloudflare會在網(wǎng)頁中嵌入含有僅對爬蟲可見的隱藏鏈接,這些鏈接則指向由AI生成的虛假頁面,雖然內(nèi)容看似真實、但與被保護的網(wǎng)站無關(guān)。
簡而言之,Cloudflare不僅不會攔截AI爬蟲,而是選擇引誘爬蟲走進一個精心編織的多層嵌套虛假頁面迷宮。AI爬蟲一旦被引誘,就會在無意義的內(nèi)容中團團轉(zhuǎn),從而浪費計算資源和帶寬。其實Cloudflare的這番操作之所以會有效,核心機制就在于正常人不會對AI生成的無意義內(nèi)容感興趣。
如此一來,AILabyrinth就實現(xiàn)了消耗AI廠商寶貴的算力和帶寬,讓后者覺得使用爬蟲爬取你的網(wǎng)站缺乏性價比。不僅如此,Cloudflare方面還宣稱陷入迷宮的AI爬蟲行為會被記錄,用于訓練Cloudflare的識別模型,以形成“檢測-誘捕-優(yōu)化”的反饋閉環(huán)。
當然,Cloudflare也明白一味與AI廠商對抗,只會導(dǎo)致雙方陷入無意義的消耗戰(zhàn)。所以他們Cloudflare還提供了一個“按次付費爬取”的方案,允許網(wǎng)站所有者向AI廠商收取訪問內(nèi)容的相關(guān)費用,為AI行業(yè)合理獲得內(nèi)容提供了一條具備可行性的路徑。
其實財大氣粗的AI廠商不是不愿意為內(nèi)容付費,例如谷歌就每年花費6000萬美元獲取Reddit的內(nèi)容,OpenAI也宣布將付費使用德國出版巨頭施普林格旗下出版物的內(nèi)容。只是問題在于,互聯(lián)網(wǎng)世界的內(nèi)容提供商有如恒河沙數(shù),AI廠商沒有時間和人員逐個與不同的主體談判,所以就只能抓大放小,針對小網(wǎng)站用技術(shù)手段、面對大網(wǎng)站則使用金錢攻勢。
Cloudflare的這個方案,妙就妙在一邊用技術(shù)手段將小網(wǎng)站武裝成“刺猬”,另一邊則提供了一個標準化的內(nèi)容付費渠道。
被元氣少女小說驚到,趕超《顧少,復(fù)仇女王A爆了》,榮登榜首!
《顧少,復(fù)仇女王A爆了》登頂后,貳老爺緊隨的新作,欲爭第一?
《顧少,復(fù)仇女王A爆了》,強強聯(lián)合,元氣少女該小說榮登第一
免責聲明:本文內(nèi)容由開放的智能模型自動生成,僅供參考。