增加robots.txt減少流量

在網站根目錄中增加一個檔案叫robots.txt,內容我只寫了:

User-agent: *
Disallow:

允許所有搜尋引掣將我的網站內容編入索引,未做任何限制。為什麼要增加這個檔案呢?因為近來在後台的錯誤記錄檔中發現,大部份的搜尋機器人在進來網站內部翻攪之前,都會去讀取根目錄下的robots.txt這個檔案,但在預設的wordpress安裝下,並不會產生這個檔案,所以我發現雖然機器人沒有找到這個檔案,但是wordpress還是會送出含有整個檔頭的錯誤頁面給它,而一天之中機器人造訪的次數不計其數,因此無意間流量大增,但增加的都是錯誤頁面的流量,再加上之前從MT跳船到WP,但有許多spambot還是繼續向原來MT的路徑發送垃圾留言,這可能也是導致流量驚人的原因。

以上這些都是我的猜想與假設,因為對於本站的高流量實在有著許多的不解,從cpanel裡看不出所以然來,總流量高得嚇人,可是單看網域的流量,其實是小的很,而且也沒放檔案給人下載,或者是該考慮換主機商的時候吧!

另外舉例來說,若要限制搜尋引掣索引其中一個資料夾,如images,那麼可以把規則寫成這樣:

User-agent: *
Disallow: /images/

而我只是因為想要減少錯誤頁面的送出流量,所以在robots.txt中沒有限制任何不被索引的資料夾。

ps.誰知道好的主機商請介紹一下哦!

“增加robots.txt減少流量” 有 17 則迴響

  1. 是的,我們是用同一家的,但我用的是他們國外的主機,我不曉得是不是因為這樣而有技術上的差別。

    自從上次換了一台伺服器後,目前運作一切正常,我也很滿意,所以若沒有再出什麼差錯,或是心血來潮的話,我應該會續約,畢竟搬個家還挺累人的。

    ps.我寫信給他們應該都蠻客氣的,難道是因為這樣,所以有時候他們才愛理不理的嗎?下次出問題,兇一點好了! 👿

  2. 是喔…你不是說你也是用G型主機嗎?那我們應該是用同一家的啊~

    我寫mail給他們的時候語氣不太好,所以我不曉得是否因為這個原因他們才比較快替我處理這個問題 ❓ ❗

    我也是去年才開始跳槽到G型主機的,因為一開始用他們的服務時我就有跟他們的客服問很多問題,然後一有點問題也是馬上寫mail(不管是語氣好或不好都有過),所以我不知道怎麼他們會有這種差別待遇;尼爾應該強硬一點!

    如果今年續約時間到了,尼爾應該就你所感受到的決定是否要再與他們續約,畢竟感受只有自己才最深刻。雖說我很希望尼爾還是使用他們的服務,但是若尼爾在使用他們的服務上這麼不舒服,那就考慮別家吧~

  3. Carrie,原本我也以為是spider的影響,但那時候跟主機商問了幾次,請他查明流量來源,幫忙看一下主機記錄,主機商每次都相應不理或是含糊帶過,讓我覺得他們處理問題的能力很薄弱,我們用的真的是同一家主機商嗎?怎麼差這麼多,流量爆了還補1G給你,我那時候也快爆了,但也沒人理我。

    那陣子流量不正常後,又發生一些連線不順的問題,我只好請主機商幫我換個伺服器,這回動作還蠻快的,而且換了家之後,才發現原來的流量真的是有問題的。

    之前主機商一直推說只有cpanel左上角的流量才是正確的,其它分析報表裡的流量都是不太準的,但是在舊伺服器上兩者之間的差距,居然高達好幾G,那是有問題的,但主機商卻沒有查明給我合理解釋。換成新伺服器後,上述兩者的流量都恢復正常,也幾乎沒有差距,雖然還是會受到spider的影響,但整體速度比原來好多了,流量也在安全範圍之內。

    我用這個主機商二、三年了,一直都沒什麼問題,價格上也很漂亮,只是如果不要這麼忽略我的問題,我也許會考慮今年繼續續約下去。

  4. 不知道尼爾換主機商了沒?我最近也遇到流量爆增的問題,不過我懷疑是搜尋蜘蛛搞的鬼,所以便寫了mail給G型主機『了解了解』,因為我寫的那時流量已經超過了八成,所以他們便馬上補了我一G的免費流量,對於這點我還蠻滿意的!

    然後昨天他們給了我robots.txt的範例文件(只給咕狗、雅虎、MSN搜尋),所以我馬上就新增了這個文件,以便減少流量;羅賓的論壇也有相關討論,因為最近艾德也遇到這個問題,所以我想大家都有這種困擾吧~

    應該跟主機商沒啥問題啦XD

  5. 虛擬主機我用過 Yahoo!SmallBusiness 到 Dreamhost, Site5, iPower, Bluehost與 Hostmonster
    一路下來,我停留在 Hostmonster
    基本上不用擔心它的品質(因為它與Bluehost視同一家公司)
    我曾經直接問過Bluehost客服,二家產品都差不多,價格卻有差異,我該選哪家?
    Bluehost客服回答說: 如果是他,他會選 Hostmonster

    後來經過我使用一段時間後
    我發現 Hostmonster 真的是好的沒話說
    尤其是24小時線上客服,可以解決我所遭遇的全部問題
    因此 Neil 的擔心是多餘的^^

    此外
    我還做了一個 Hostmonster 虛擬主機中文教學網站
    希望對剛入門或英文不好的人有幫助
    http://hostmonster.yenyu.com

  6. 到目前為止,bluehost和同公司的hostmonster是我的首選,不過hostmonster的價錢低的驚人,令人有些擔心它的可靠性,所以bluehost的出線機率大些,只是bluehost在國外的評價似乎也不怎樣,實在好難選呀~

    距離現在這個主機的租期期限還有半年左右,還是再多些比較吧!除非這裡的流量真的爆掉了…

發表迴響