盤點那些有關(guān)robots的屏蔽恩怨歷史
這幾天Robots因為百度和360違反的官司引起了眾人關(guān)注,也許很多人還不知道Robots是什么。其實robots協(xié)議是一個搜索引擎的國際默認(rèn)公約,任何網(wǎng)站只要在其robots中禁止搜索引擎訪問,那么搜索引擎就無權(quán)收錄。而robots的重要性在于,一個網(wǎng)站有權(quán)利可以存在于互聯(lián)網(wǎng)中,但又不被指定的搜索引擎索引放到搜索結(jié)果中,因為搜索引擎在互聯(lián)網(wǎng)上就像國王,網(wǎng)站就是每個人的小家,而robots協(xié)議則是對抗國王的最后利器,正所謂“風(fēng)能進(jìn)雨能進(jìn)國王不能進(jìn)”。 和搜索引擎打架的案例其實早就有了,而每次打架都會牽扯到robots協(xié)議,那么就來盤點下這些關(guān)于robots的恩恩怨怨吧。 曾經(jīng)微軟和谷歌在同一天晚上同facebook談合作與入股,而最后微軟勝出,谷歌敗北。以至于至今facebook也沒有對谷歌開放搜索,facebook一個如此龐大的帝國居然將另個一巨頭谷歌拒之門外,谷歌的心情可想而知??纯垂雀柙趺凑f的。 現(xiàn)任雅虎CEO的曾經(jīng)谷歌副總梅麗莎·梅耶,在2010年說“很多內(nèi)容都被隱藏了,雖然有些內(nèi)容涉及隱私受到保護(hù),但用戶應(yīng)當(dāng)能夠找到與自己相關(guān)的信息。” 谷歌CEO佩奇在2012年說:“在沒有任何理由的情況下,將用戶作為人質(zhì),這是沒有意義的。Facebook扣下了用戶的數(shù)據(jù)?!?/p>
facebook一直是屏蔽谷歌搜索的,而谷歌也恨得牙癢癢。這也導(dǎo)致了谷歌上線google+與facebook分庭抗禮,但從結(jié)果來看,還是無法撼動facebook這棵大樹。 facebook屏蔽谷歌的原因也很簡單,用戶在facebook上產(chǎn)生的內(nèi)容勢必會有能夠帶來商業(yè)價值的數(shù)據(jù)并且同時也涉及到用戶隱私,所以facebook也同樣不會將這些數(shù)據(jù)輕易交付給第三方的。 facebook至今仍然屏蔽谷歌搜索。 從傳統(tǒng)媒體起家的默多克,對于搜索引擎的態(tài)度相當(dāng)不友善,默多克曾將搜索引擎都說成是”網(wǎng)絡(luò)寄生蟲“。 默多克原話: “他們是Google,他們是微軟,他們是Ask.com,他們不應(yīng)該免費獲得內(nèi)容,我想我們一直睡著了。” 而默多克在09年開始展開計劃,對谷歌等搜索引擎展開行動,對旗下多家新聞網(wǎng)站屏蔽搜索爬蟲。 谷歌的回應(yīng)也很簡單明了: “如果貴站不想在谷歌上出現(xiàn),請修改貴站的robots文件即可”。 不過到了2012年,默多克就投降了,默多克向谷歌認(rèn)輸,重新允許搜索抓取報紙網(wǎng)站。 其實默多克的想法還是停留在傳統(tǒng)的付費閱讀的思維上,缺少對網(wǎng)絡(luò)的深刻洞察。 2008年淘寶屏蔽了百度搜索引擎,自此用戶再也無法從百度直接搜索到關(guān)于淘寶的信息。 2008年正是百度C2C平臺”有啊”上線的日子,而淘寶的對決就是直接封殺百度搜索,其目的在于對于用戶搜索習(xí)慣的重新引導(dǎo),將自身作為一個專業(yè)的購物搜索引擎。以突顯自己的在中國的網(wǎng)購地位。 阿里永遠(yuǎn)不希望有一只腳踩在他頭上,2012年11月,淘寶聯(lián)盟開始禁止返利網(wǎng)模式,使得一大批淘寶客網(wǎng)站死亡。2013年8月,淘寶又對微信下手,屏蔽與微信的一切數(shù)據(jù)鏈接,又一批淘客死亡。 加上之后一淘的出現(xiàn),更不難理解阿里屏蔽百度搜索的用意,其實說到底還是商業(yè)利益。 目前一淘已經(jīng)失利,而淘寶又再一次向百度開放搜索。 2011年10月,京東和當(dāng)年淘寶屏蔽百度一樣,毅然屏蔽了一淘搜索。失去京東這么大的一個電商平臺,一淘可謂流年不順。 至今京東仍然屏蔽著一淘搜索。 08年末我用百度視頻搜索視頻時意外發(fā)現(xiàn),優(yōu)酷消失了,后來才得知優(yōu)酷原來同時屏蔽了百度與谷歌的搜索引擎。 本來以為又是一場商業(yè)競爭,但后來的相關(guān)透露中才得知優(yōu)酷真正擔(dān)心的是年底所要支付的寬帶費用,為了減緩資金壓力,所以同時屏蔽了百度與谷歌的爬蟲搜索,來減少寬帶承受,同競爭無關(guān)。 回看08年那個視頻網(wǎng)站混戰(zhàn)的時候,各種網(wǎng)絡(luò)存儲,寬帶設(shè)施都還未達(dá)到先進(jìn)的地步,再加上中國的上網(wǎng)人口數(shù)遠(yuǎn)超美國,也就導(dǎo)致了視頻網(wǎng)站發(fā)展的步履維艱,再加上正版電影的版權(quán)等一系列問題,更注定了那是一段視頻網(wǎng)站的寒冬時期。 僅隔3個月,09年3月份,優(yōu)酷又一次開放了百度谷歌的視頻搜索??梢娺@確實是一次臨時的選擇。 遺憾的是QQ空間是一款非常成功的產(chǎn)品,而搜搜則與成功無緣。雖然搜搜獨家占有了QQ空間的搜索,但搜搜沒有到達(dá)騰訊希望的高度。 2012年的時候,QQ空間也終于向百度與谷歌開放。 百度旗下?lián)碛匈N吧,文庫,知道,百科等網(wǎng)站產(chǎn)品,所以當(dāng)百度面對360這個搜索引擎時,百度則從搜索引擎的角色轉(zhuǎn)身成為了網(wǎng)站站長的角色,作為站長的百度對競爭對手360搜索進(jìn)行了屏蔽,而360直接繞過了robots協(xié)議繼續(xù)采集對方信息。 從歷史來看,任何網(wǎng)站與搜索引擎產(chǎn)生矛盾后,只要網(wǎng)站的robots對搜索引擎進(jìn)行了屏蔽,那么任何搜索引擎從來都會停止抓取,因為這是大家默認(rèn)的規(guī)則,雖然沒有形成法律,但已形成契約。這次360的案例比較特別,開啟了違背robots的先河,未來中國的搜索引擎的規(guī)則是否會有重大變化,還看這次判決吧。 本文系作者承哲授權(quán)發(fā)布,轉(zhuǎn)載請注明來源于人人都是產(chǎn)品經(jīng)理,并保留本文鏈接。一、facebook屏蔽谷歌搜索
二、默多克旗下新聞屏蔽谷歌搜索
三、淘寶屏蔽百度搜索
四、京東屏蔽一淘搜索
京東和阿里向來水火不容,京東不準(zhǔn)用戶使用支付寶支付,也因為新浪和阿里的關(guān)系不準(zhǔn)用戶用新浪微博登錄。那么也不難理解當(dāng)阿里推出一淘之后,京東的做法,京東自然也不會買賬,京東也同樣不允許有一只腳踩在自己頭上。五、優(yōu)酷同時屏蔽百度與谷歌搜索
六、QQ空間對百度谷歌搜索開放
QQ空間自05年誕生時就沒有開放給百度與谷歌,和facebook一樣封閉。QQ的邏輯是要將QQ空間打造成一個巨大的閉環(huán),唯一的搜索只能是旗下的搜搜。七、百度屏蔽360搜索
- 目前還沒評論,等你發(fā)揮!