哎呀呀,做網(wǎng)站SEO的時候,上海網(wǎng)站優(yōu)化公司總是希望搜索引擎能多多光顧,但有時候,上海網(wǎng)站優(yōu)化公司的小秘密頁面可不想被它發(fā)現(xiàn)哦,比如公司內(nèi)部的小秘密基地、后臺登錄界面這些,上海網(wǎng)站優(yōu)化公司可不想讓外人來個“驚喜訪問”。所以,得想個辦法阻止搜索引擎的小偵探們。
來來來,看個例子:這是搜索引擎拒絕訪問某個網(wǎng)站的截圖,可以看到,頁面描述里寫著“因為該網(wǎng)站的robots.txt文件存在限制指令,系統(tǒng)無法提供該頁面內(nèi)容描述”。哈哈,這就是上海網(wǎng)站優(yōu)化公司的秘密武器!
Robots.txt文件,簡直就是站點和蜘蛛之間的秘密通道。通過這個文件,上海網(wǎng)站優(yōu)化公司告訴搜索引擎哪些地方是不能去的,或者哪些地方它可以去探索探索。
百度最近升級了它的Robots,現(xiàn)在如果你的網(wǎng)站里有些內(nèi)容是不想被視頻搜索引擎收錄的,那就得用到這個robots.txt文件啦。不過,如果你的網(wǎng)站所有內(nèi)容都希望搜索引擎收錄,那就不需要設(shè)置robots.txt文件啦。
對了,如果你的網(wǎng)站還沒有設(shè)置robots協(xié)議,那百度在收錄你的視頻URL時,會包括視頻播放頁URL、頁面中的視頻文件和視頻周邊文本等信息哦。而且,對于已經(jīng)收錄的短視頻資源,用戶會直接看到視頻極速體驗頁。至于綜藝影視類長視頻,搜索引擎只會收錄頁面URL。