對于近日奇虎360綜合搜索被爆出無視國際通行的Robots協議，抓取百度、Google等搜索引擎內容，導致眾多網站出于安全和隱私考慮不允許搜索引擎抓取的內網信息被泄露一事，資深互聯網觀察家洪波指出，做搜索就要遵守搜索行業公認的游戲規則，無視規則，肆意違反規則才是真正的不正當競爭，這種行為不能從法律和政府監管上及時制止，將引發行業大亂。
搜索引擎的原理是通過一種爬蟲spider程序，自動搜集互聯網上的網頁并獲取相關信息。而鑒于網絡安全與隱私的考慮，每個網站都會設置自己的Robots協議，來明示搜索引擎，哪些內容是愿意和允許被搜索引擎收錄的，哪些則不允許。而搜索引擎則會按照Robots協議給與自己的權限來進行抓取。Robots協議已經成為所有搜索引擎必須遵守的國際慣例。這就好比一個正常的人去到別人家里，需要先敲門，得到許可以后才能進入客廳。除非有主人的進一步許可和邀請，否則你不能擅自進入內室，或者在別人家里四處遛達。
因此，當兩周前新上線的360綜合搜索無視Robots協議，直接抓取未經授權的信息數據時，其做法遭到了業內人士的普遍質疑。
據了解，百度網站的Robots協議中并未授權360搜索爬蟲抓取，但是360搜索無視這種設置，擅自實施抓取行為。考慮到很多內容源網站禁止搜索引擎抓取的網頁中大多涉及存放在服務器上的后臺數據庫、用戶穩私、密碼等信息。這意味著，360無視內容源網站Robots.txt協議中的設定，將導致存放在服務器上的不該被搜索到的隱私信息被搜索到，甚至直接在搜索結果中展示出來。
對于被指責違反Robots協議，由于事實俱在，周鴻祎已然無法否認，但他同時反駁表示百度在Robots協議中禁止360爬蟲，是不正當競爭。對此洪波表示，Robots協議賦予網站禁止任何搜索爬蟲的權利，這跟不正當競爭毫無關系。360無視行業默認規則，才是真正的不正當競爭。
“做搜索就要遵守搜索行業公認的游戲規則，無視規則，肆意違反規則才是真正的不正當競爭。”在洪波看來，百度并沒有禁止所有爬蟲抓取問答、知道和貼吧的內容，百度只是禁止了不規矩的、存在潛在安全風險的爬蟲，這恰是保護市場秩序，保護用戶隱私的合理舉措。他指出，2008年淘寶也曾禁止百度爬蟲，而百度則嚴格遵守Robots協議，停止抓取淘寶網內容，并沒有以淘寶不正當競爭為借口違反Robots協議。
360一直自詡這是用創新的方式做搜索，洪波的一句話表示了他的觀點：“一個連基本游戲規則都不遵守的搜索引擎，怎么好意思給自己貼上‘創新’的標簽。也許在周鴻祎的字典里，無視規則等于創新。”洪波表示，這樣的行為不及時從法律和政府監管上制止，那360今天違規抓取的是百度內容，明天就可以隨便抓取含有大量隱私的人人網的社區信息，其他網站和搜索引擎都可以效仿，被京東屏蔽的一淘還可以抓取競爭對手的的商品信息。以此類推，整個互聯網行業將大亂。
