什么是robots文件?設(shè)置搜索robots協(xié)議的后果

1547次閱讀

Robots是站點(diǎn)與spider溝通的重要渠道,站點(diǎn)通過(guò)robots文件聲明本網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

9月11日,百度搜索robots全新升級(jí)。升級(jí)后robots將優(yōu)化對(duì)網(wǎng)站視頻URL收錄抓取情況。僅當(dāng)您的網(wǎng)站包含不希望被視頻搜索引擎收錄的內(nèi)容時(shí),才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容,請(qǐng)勿建立robots.txt文件。

如您的網(wǎng)站未設(shè)置robots協(xié)議,百度搜索對(duì)網(wǎng)站視頻URL的收錄將包含視頻播放頁(yè)URL,及頁(yè)面中的視頻文件、視頻周邊文本等信息,搜索對(duì)已收錄的短視頻資源將對(duì)用戶呈現(xiàn)為視頻極速體驗(yàn)頁(yè)。此外,綜藝影視類長(zhǎng)視頻,搜索引擎僅收錄頁(yè)面URL。

設(shè)置搜索robots協(xié)議的后果

針對(duì)短視頻類內(nèi)容,視頻搜索將不再索引、展現(xiàn)網(wǎng)站的視頻資源,歷史已索引部分會(huì)從搜索中屏蔽。若設(shè)置部分目錄不希望被收錄 ,該目錄下內(nèi)容將從搜索中屏蔽,其余內(nèi)容在搜索中則以正常結(jié)果展示。


閱讀本文的人還可以閱讀:

網(wǎng)站為什么流量異常?網(wǎng)站流量異常10大原因(1)

什么是抓取異常?網(wǎng)站抓取異常的原因

什么是百度抓取異常?抓取異常對(duì)網(wǎng)站的影響有哪些

本文由夫唯SEO特訓(xùn)營(yíng)編輯整理。

搜外專注SEO培訓(xùn)和SEO周邊Saas服務(wù)解決方案,10年來(lái)超過(guò)五萬(wàn)學(xué)員在此獲得技術(shù)提升和人脈圈子。

SEO課程包含移動(dòng)搜索、零基礎(chǔ)建站、群站SEO思維、搜外6系統(tǒng)、SEM入門(mén)等。

192期A班報(bào)名時(shí)間7月1日-7月15日,請(qǐng)?zhí)砑诱猩头∧⑿牛簊eowhy2021。 微信掃碼添加客服人員

我們的目標(biāo)是:讓非技術(shù)人員輕松學(xué)會(huì)互聯(lián)網(wǎng)技術(shù)。

  • 搜外會(huì)員SEO交流群(免費(fèi))

    微信掃碼添加客服人員
  • 小程序運(yùn)營(yíng)交流群(免費(fèi))

    微信掃碼添加客服人員
  • 搜外會(huì)員SEM競(jìng)價(jià)交流群(免費(fèi))

    微信掃碼添加客服人員
  • 夫唯學(xué)員SEO交流群(VIP)

    微信掃碼添加客服人員

掃碼獲取資源

微信掃碼添加客服人員
  • SEO技術(shù)實(shí)戰(zhàn)微信群

    微信掃碼添加客服人員
  • 大站流量總監(jiān)群(審核身份)

    微信掃碼添加客服人員
  • Google獨(dú)立站英文SEO群

    微信掃碼添加客服人員
  • SEO團(tuán)隊(duì)KPI管理表格

    微信掃碼添加客服人員
  • 工業(yè)品網(wǎng)站友情鏈接群

    微信掃碼添加客服人員
  • 本地生活服務(wù)業(yè)友鏈群

    微信掃碼添加客服人員

跟夫唯老師系統(tǒng)學(xué)習(xí)群站SEO
成為互聯(lián)網(wǎng)運(yùn)營(yíng)推廣大咖

掌握SEO技巧、建站前端、群站霸屏、SEM入門(mén)、新聞源推廣……
Processed in 0.219962 Second , 75 querys.