哎呀呀，做網(wǎng)站SEO的時(shí)候，上海網(wǎng)站優(yōu)化公司總是希望搜索引擎能多多光顧，但有時(shí)候，上海網(wǎng)站優(yōu)化公司的小秘密頁面可不想被它發(fā)現(xiàn)哦，比如公司內(nèi)部的小秘密基地、后臺登錄界面這些，上海網(wǎng)站優(yōu)化公司可不想讓外人來個(gè)“驚喜訪問”。所以，得想個(gè)辦法阻止搜索引擎的小偵探們。

SEO小技巧輕松阻止搜索引擎“窺探”你的秘密頁面

來來來，看個(gè)例子：這是搜索引擎拒絕訪問某個(gè)網(wǎng)站的截圖，可以看到，頁面描述里寫著“因?yàn)樵摼W(wǎng)站的robots.txt文件存在限制指令，系統(tǒng)無法提供該頁面內(nèi)容描述”。哈哈，這就是上海網(wǎng)站優(yōu)化公司的秘密武器！

Robots.txt文件，簡直就是站點(diǎn)和蜘蛛之間的秘密通道。通過這個(gè)文件，上海網(wǎng)站優(yōu)化公司告訴搜索引擎哪些地方是不能去的，或者哪些地方它可以去探索探索。

百度最近升級了它的Robots，現(xiàn)在如果你的網(wǎng)站里有些內(nèi)容是不想被視頻搜索引擎收錄的，那就得用到這個(gè)robots.txt文件啦。不過，如果你的網(wǎng)站所有內(nèi)容都希望搜索引擎收錄，那就不需要設(shè)置robots.txt文件啦。

對了，如果你的網(wǎng)站還沒有設(shè)置robots協(xié)議，那百度在收錄你的視頻URL時(shí)，會包括視頻播放頁URL、頁面中的視頻文件和視頻周邊文本等信息哦。而且，對于已經(jīng)收錄的短視頻資源，用戶會直接看到視頻極速體驗(yàn)頁。至于綜藝影視類長視頻，搜索引擎只會收錄頁面URL。