阿里云虛擬主機(jī)由于蜘蛛爬蟲(chóng)耗流量的解決方案
發(fā)布時(shí)間：2019-07-29 點(diǎn)擊數(shù)：1339
問(wèn)題描述：
頁(yè)面每天只有幾個(gè)IP訪問(wèn)。流量卻在短時(shí)間內(nèi)消耗殆盡。
問(wèn)題分析：
通過(guò)流量統(tǒng)計(jì)報(bào)告查看到百分之八十的流量都是來(lái)自蜘蛛爬蟲(chóng)。
解決方案：
編寫(xiě)robots.txt文件上傳到網(wǎng)站根目錄中。
使用類似于“Disallow:/ 禁止允許”的規(guī)則對(duì)蜘蛛爬蟲(chóng)進(jìn)行禁止。減少蜘蛛抓取對(duì)網(wǎng)頁(yè)產(chǎn)生的流量。
注意：這樣做雖然能減少不必要的流量。但是會(huì)影響到網(wǎng)頁(yè)的權(quán)重值。在設(shè)定的時(shí)候。請(qǐng)自行斟酌取舍。