通過網(wǎng)站日志分析，會(huì)發(fā)現(xiàn)搜索引擎蜘蛛抓取了一些網(wǎng)站上不存在的文件后綴，如：.php、.asp、.aspx等。
搜外網(wǎng)站后臺(tái)日志分析結(jié)果如下圖：
搜外主站實(shí)際上不存在php后綴的URL地址。
可通過robots.txt文件禁止蜘蛛抓取不存在的后綴，減少出現(xiàn)404返回值。
在robots.txt文件填寫屏蔽規(guī)則如下：
Disallow: /*.asp$ Disallow: /*.php$ Disallow: /*.aspx$
注意前面一個(gè)*，后面一個(gè)$，代表后綴。
參考搜外的robots.txt文件寫法，點(diǎn)擊這里
擴(kuò)展閱讀：
本文由夫唯SEO特訓(xùn)營編輯整理。
搜外專注SEO培訓(xùn)和SEO周邊Saas服務(wù)解決方案，10年來超過五萬學(xué)員在此獲得技術(shù)提升和人脈圈子。
SEO課程包含移動(dòng)搜索、零基礎(chǔ)建站、群站SEO思維、搜外6系統(tǒng)、SEM入門等。
192期A班報(bào)名時(shí)間7月1日-7月15日，請?zhí)砑诱猩头∧⑿牛簊eowhy2021。
微信掃碼添加客服人員
我們的目標(biāo)是：讓非技術(shù)人員輕松學(xué)會(huì)互聯(lián)網(wǎng)技術(shù)。
微信掃碼添加客服人員
微信掃碼添加客服人員
微信掃碼添加客服人員
微信掃碼添加客服人員
微信掃碼添加客服人員
SEO技術(shù)實(shí)戰(zhàn)微信群
微信掃碼添加客服人員
大站流量總監(jiān)群(審核身份）
微信掃碼添加客服人員
Google獨(dú)立站英文SEO群
微信掃碼添加客服人員
SEO團(tuán)隊(duì)KPI管理表格
微信掃碼添加客服人員
工業(yè)品網(wǎng)站友情鏈接群
微信掃碼添加客服人員
本地生活服務(wù)業(yè)友鏈群
微信掃碼添加客服人員
