SEO：網站的robots文件設置時應注意哪些問題？在網站優化工作當中，robots文件的設置是占據很重要的位置的。robots文件屬于網站跟爬蟲間的協議，也就是說你的網站那些內容想被爬取，哪些內容不想被爬取都是通過robots文件來告訴蜘蛛的。網站robots文件設置的合適與否會直接你的網站能夠順利被收錄，網站的robots文件設置時應注意哪些問題？

       1、文件后綴及大小寫。

       robots文件的后綴必須是.txt；robots文件必須全小寫字母命名；在寫robots文件的時候，Disallow、Allow、Sitemap等詞首字母必須大寫，后面的字母則要小寫。

       2、robots文件放在哪？

       robots.txt應放置于網站的根目錄下。如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為，那么可以將自定的設置合并到根目錄下的robots.txt，或者使用robots元數據。

       SEO：網站的robots文件設置時應注意哪些問題？

       3、注意空格。

       特別注意，在書寫robots事，應用英文狀態下的冒號，并且冒號后面必須有一個英文狀態下的空格。

       4、都需要抓取是否就不用設置？

       有的站長可能覺得如果網站所有文件都需要蜘蛛抓取，那就沒必要添加robots文件，因為如果這個文件不存在，那蜘蛛也將默認訪問網站上所有沒有被口令保護的頁面。這里要注意一種情況，如果用戶試圖訪問一個不存在的url，服務器就會在日志中記錄404錯誤。當蜘蛛來尋找不存在的robots文件時，服務器也將在日志中記錄一條404錯誤，所以網站應該都要設置robots文件。

       5、為了增加網站收錄率robots文件中設置所有文件都能被抓取可以嗎？

       不可以。因為網站中的程序腳本、樣式表等文件即使被蜘蛛收錄，也不會增加網站的收錄率，還只會浪費服務器資源。因此必須在robots.txt文件里設置不要讓搜索蜘蛛索引這些文件。

       配置網站robots.txt是SEO的基礎操作，如何更好的引導蜘蛛抓取需要在不斷的實踐中調整，這樣就可以達到網站抓取資源分配更優化。關于“SEO：網站的robots文件設置時應注意哪些問題？ ”就為您介紹到這里了，希望可以幫到您。