增加robots.txt減少流量

在網站根目錄中增加一個檔案叫robots.txt,內容我只寫了:

User-agent: *
Disallow:

允許所有搜尋引掣將我的網站內容編入索引,未做任何限制。為什麼要增加這個檔案呢?因為近來在後台的錯誤記錄檔中發現,大部份的搜尋機器人在進來網站內部翻攪之前,都會去讀取根目錄下的robots.txt這個檔案,但在預設的wordpress安裝下,並不會產生這個檔案,所以我發現雖然機器人沒有找到這個檔案,但是wordpress還是會送出含有整個檔頭的錯誤頁面給它,而一天之中機器人造訪的次數不計其數,因此無意間流量大增,但增加的都是錯誤頁面的流量,再加上之前從MT跳船到WP,但有許多spambot還是繼續向原來MT的路徑發送垃圾留言,這可能也是導致流量驚人的原因。

以上這些都是我的猜想與假設,因為對於本站的高流量實在有著許多的不解,從cpanel裡看不出所以然來,總流量高得嚇人,可是單看網域的流量,其實是小的很,而且也沒放檔案給人下載,或者是該考慮換主機商的時候吧!

另外舉例來說,若要限制搜尋引掣索引其中一個資料夾,如images,那麼可以把規則寫成這樣:

User-agent: *
Disallow: /images/

而我只是因為想要減少錯誤頁面的送出流量,所以在robots.txt中沒有限制任何不被索引的資料夾。

ps.誰知道好的主機商請介紹一下哦!

在〈增加robots.txt減少流量〉中有 17 則留言

  1. Robbin,我從你那裡可偷學不少東西呢!你的主機商也是我的考慮範圍之內,我對他的流量10g的方案很有興趣,而且跟我現在的價錢相差不多,只是他的mysql只有一個,真的有點少呢~

    留言板應該是正常的,可能是一時主機沒反應,近來好像常常三不五時這樣,忽快忽慢~

  2. 我從mt跳船到wp之前的流量是連1g都不到,就算有也是1g多一點點而已,那時候甚至還有個小論壇放在同一個空間裡~

    但後來流量就突然暴增好幾倍,我想應該不是這裡的訪客多了多少,所以一直很懷疑這樣的流量,從後台裡更看不出來這些流量都花在哪裡,來來回回跟客服講了很多次,但都沒有得到什麼滿意的答覆,有次問了如何看後台分析的問題後,就再也沒有人理我了>_< 昨天又寫了一封信去,順便附上後台流量統計的圖表,這個圖表無論http、ftp的流量圖居然都一樣,然後客服回了我一封信告訴我要詢問cpanel原廠才知道這樣是否正常… 我看又是個無言的結局。

  3. 啊?是喔?嘻嘻,原來我們是用同一家的啊~

    我用的是3G的方案,不過我是用台灣的主機,而且我在後台看,我每個月的流量大概最多用到1G多一點,所以我覺得用量還蠻省的呢!那你可以跟客服人員詢問一下,因為一個月5G的流量已經算是很大了,應該不太可能破表才對啊~

  4. Carrie,謝謝你的推薦,不過…我們用的是同一家ㄟ…

    只是我用的是它的國外主機,已經用兩年了,其實一直都沒什麼問題,客服也都很好,最近除了流量和速度之外,我也沒什麼好挑剔的,所以才會這麼猶豫不決。

    我用的是每月5g的方案,但這幾個月都用到快爆掉,真不曉得流量怎麼算的,這小小站應該不至於吸引這樣的流量。

  5. 如果不嫌棄的話,我也來介紹我自己目前所使用的虛擬主機商──G型主機(http://www.burning-g.net/index.php),目前使用的感覺很好,客服人員也很熱心,我所用的方案是「台灣虛擬主機G6系列」的G6-A型,磁碟空間1000 MB (1GB)、每月流量3GB,目前特價 1900 / 年 !!用了兩個多月下來,一切感覺都很好,流量也沒有忽大忽小的亂跳,而且他完全不限制MySQL , Email, FTP帳號,所以我覺得很划算!

    介紹給你試試看囉~

    順便給你他們現在的超值方案網址↓
    http://www.burning-g.net/plan_6.php

    你自己去看看比較準^_*

  6. 謝謝carlos提供的網站,這兩天我已經在上面翻找一遍了,對於dreamhost的規格很心動,可是實在有太多不利於他的負面言論,所以還在考慮中…

    我想以我這個小站來說,應該不會造成主機什麼負擔才對,只是現在使用的主機速度忽快忽慢,流量也很不正常,反覆問過幾次主機商那邊,都沒有得到什麼結論,所以才想換主機。但也有可能是因為我用的吸內特對外頻寬不足的原因…

    以前就玩過自架,結果是讓自己很累(可能功力不足吧!),所以還是找個可靠的主機商比較適合我這樣的懶人~

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料

%d 位部落客按了讚: