阿里云虛擬主機(jī)由于蜘蛛爬蟲耗流量的解決方案
發(fā)布時間：2019-07-29 點(diǎn)擊數(shù)：1337
問題描述：
頁面每天只有幾個IP訪問。流量卻在短時間內(nèi)消耗殆盡。
問題分析：
通過流量統(tǒng)計報告查看到百分之八十的流量都是來自蜘蛛爬蟲。
解決方案：
編寫robots.txt文件上傳到網(wǎng)站根目錄中。
使用類似于“Disallow:/ 禁止允許”的規(guī)則對蜘蛛爬蟲進(jìn)行禁止。減少蜘蛛抓取對網(wǎng)頁產(chǎn)生的流量。
注意：這樣做雖然能減少不必要的流量。但是會影響到網(wǎng)頁的權(quán)重值。在設(shè)定的時候。請自行斟酌取舍。