首頁 | 討論區 | 最新話題 | 搜尋 | XML | 登入

此話題中所有文章數: 2 [ 話題狀態: 一般 ]

此文章已經觀看 5764 次而且有 1 篇回應

jieh 《騎士團團長》
文章: 6897
v3.8.8

網路流氓名單

Google, Yahoo 都會派 robot 出來巡邏抓資料補充，而我也很歡迎遵守遊戲規則的 robot 也可以增小小寒站的曝光機會。

Google : googlebot
MSN : msnbog
Yahoo : Yahoo Slurp

所謂的遊戲規則就是國際組織為了保護隱私規範 robot 執行時要先參考網站根目錄的一個 robots.txt 的檔案，內容寫著 robot 的名稱及禁止捉取的目錄或檔案，例如：

User-agent: bala
Disallow: /my_private/
User-agent: *
Disallow: /all_private/

意思是禁止 bala 這個 robot 捉 /my_private/ 目錄，及禁止所有的 robots 捉 /all_private/ 目錄。
原則上網站管理者可以將不喜歡的 robot，或是禁止 robot 捉取的目錄或檔案，寫在這個檔案中。

但是！網路流氓根本不鳥你... 而這些流氓 IP 又很多。
今天踢掉的名單 QihooBot 是來自中國的「奇虎網」就狠垃圾！
iaskspider 是「愛問」屬於中國新浪網的 robot，也很機車都不看 robot.txt。

mvnforum 有擋 IP 和 robot 名稱的兩種設定，分別對付不斷變 IP 和隱姓埋名的垃圾，但是如果兩個一起來就很頭痛了。 angry

----------------------------------------
支持小惡魔
BTC : 19tn3RnCuwZVukXAwyhDWZD4uBgUZoGJPx
LTC : LTFa17pSvvoe3aU5jbmfcmEpo1xuGa9XeA
知識跟八卦一樣，越多人知道越有價值；知識最好的備份方法，散播！
藍色小惡魔(林永傑)：臉書

[2007/11/28 上午 11:09:36]

[返迴此篇文章頂端 ]

Moonnight 《護衛隊長》
文章: 726
v3.8.8

Re: 網路流氓名單

對於惡意的網站
可以試試一次 ban 掉一個網段...

[2007/11/28 下午 09:15:07]

[返迴此篇文章頂端 ]