搜索引擎大戰(zhàn)聚焦“ROBOTS協(xié)議”

　　搜索戰(zhàn)爭(zhēng)不斷升級(jí)。在這場(chǎng)大站背后，搜索引擎到底是否可以自動(dòng)抓取用戶的資料，讓“Robots協(xié)議”成為焦點(diǎn)。

　　自動(dòng)抓取用戶內(nèi)容之爭(zhēng)

　　自某網(wǎng)站推出搜索之日起，一直被業(yè)界指責(zé)無視在全世界范圍內(nèi)具有極強(qiáng)約束力的“Robots協(xié)議”。它不僅未經(jīng)授權(quán)大量抓取百度、google內(nèi)容……

　　簡(jiǎn)單而言，“robots協(xié)議”就是搜索引擎在抓取網(wǎng)站內(nèi)容時(shí)，雙方約定的一個(gè)規(guī)則。其中包括網(wǎng)站是否希望被搜索引擎抓取，希望或不希望被哪些搜索引擎抓取，以及哪些內(nèi)容不允許被抓取。它有些類似于人類社會(huì)的“日內(nèi)瓦公約”，但在法律上卻不具備那樣的約束效力。

　　“robots.txt”并不是某一個(gè)公司制定的。早在上世紀(jì)90年代中期就已出現(xiàn)，當(dāng)時(shí)還沒有Google。其實(shí)，“Robots協(xié)議”的起源，是在互聯(lián)網(wǎng)從業(yè)人員的公開郵件組里討論而誕生的。即便是今天，互聯(lián)網(wǎng)領(lǐng)域的相關(guān)問題也仍在一些專門的郵件組中討論，并隨之產(chǎn)生(主要是在美國(guó))。

　　自有搜索引擎之日起，“Robots協(xié)議”已是一種目前為止比較有效的方式，用自律維持著網(wǎng)站與搜索引擎之間的平衡，讓兩者之間的利益不致過度傾斜。

　　1994年6月30日，在經(jīng)過搜索引擎人員以及被搜索引擎抓取的網(wǎng)站站長(zhǎng)共同討論后，正式發(fā)布了一份行業(yè)規(guī)范，即“robots協(xié)議”。此前，相關(guān)人員一直在起草這份文檔，并在世界互聯(lián)網(wǎng)技術(shù)郵件組(www-talk@info.cern.ch)中公開討論。其發(fā)布后，這一協(xié)議被幾乎所有的搜索引擎采用，包括最早的altavista，infoseek，后來的google，bing；而中國(guó)的百度，搜搜，搜狗等公司也相繼采用并嚴(yán)格遵循。

　　協(xié)議的約束與壟斷無關(guān)

　　記者翻閱涉及“robots協(xié)議”的一些案例，發(fā)現(xiàn)它在這些年全世界范圍內(nèi)具有極強(qiáng)的約束力，甚至可以說是網(wǎng)站隱私與安全的一張王牌。事實(shí)證明，“robots協(xié)議”作為內(nèi)容站和搜索引擎雙方權(quán)利對(duì)等的一項(xiàng)約定，極大維護(hù)了整個(gè)互聯(lián)網(wǎng)生態(tài)的平衡和秩序的安定。國(guó)內(nèi)的網(wǎng)站和搜索引擎，即使利益受損也未越雷池一步，表現(xiàn)出了極強(qiáng)的自律和令人尊敬的人文關(guān)懷。

　　2008年9月8日，淘寶網(wǎng)宣布封殺百度爬蟲，百度忍痛遵守爬蟲協(xié)議。因?yàn)橐坏┢茐膮f(xié)議，用戶的隱私和利益就無法得到保障，搜索網(wǎng)站就談不到人性關(guān)懷。

　　面對(duì)“robots協(xié)議”，不僅百度受制，Google也是有苦難言。此前，facebook、NAVER(韓國(guó)著名門戶和搜索引擎)都對(duì)google設(shè)置了“robots協(xié)議”內(nèi)容，禁止其抓取。由于google還不像百度有自有內(nèi)容，所以一直處于被動(dòng)，令其在韓國(guó)始終無法獲取大量市場(chǎng)份額。

　　在這些事實(shí)面前，稱“Robots協(xié)議”幫助Google和百度這樣的壟斷搜索引擎“遏制后起的競(jìng)爭(zhēng)者”的說法不攻自破。人們甚至可以看到，“robots協(xié)議”所扮演的，更多是一個(gè)有力的反壟斷工具。

　　北京市漢卓律師事務(wù)所首席律師趙虎對(duì)媒體表示，“Robots協(xié)議”是維護(hù)互聯(lián)網(wǎng)世界隱私安全的重要規(guī)則。如果這種規(guī)則被破壞，對(duì)整個(gè)行業(yè)就是滅頂之災(zāi)。這次3B大戰(zhàn)中暴露出綜合搜索侵犯用戶隱私權(quán)的問題，就不應(yīng)該小視。