# robots.txt for http://www.xxxxxxx.com
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/
User-agent: Googlebot
Disallow: /*/*/feed/
Disallow: /*/*/*/feed/
User-agent: Baiduspider
Disallow: /*/*/feed/
Disallow: /*/*/*/feed/
Sitemap: http://www.xxxxxxx.com/sitemap.xml
Sitemap: http://www.xxxxxxx.com/sitemap_baidu.xml

=======================分隔線====================================
robots.txt的注意事項
1、如果你的站點對所有搜索引擎公開,則不用做這個文件或者robots.txt為空就行。
2、robots.txt必須放置在一個網站的根目錄下,在子目錄下無效。如:通過http://www.xxxx.com/robots.txt 
3、robots.txt,User-agent,Disallow等必須注意大小寫,不能變化。
4、User-agent,Disallow等後面的冒號必須是英文狀態下的,冒號後面可以空一格,也可以不空格。 
5、User-agent表示搜尋引擎spider:星號“*”代表所有spider,Google的spider是“Googlebot”,百度是“Baiduspider”。 
6、Disallow:表示不允許搜索引擎訪問和索引的目錄。至少要有一個Disallow函數,如果都允許收錄,則寫: Disallow: ,如果都不允許收錄,則寫:Disallow: / (注:只是差一個斜桿)。
 

文章標籤
創作者介紹

騰訊雲台灣唯一合作廠商、跨境電商、微信行銷

AJlin-DES鼎益盛 發表在 痞客邦 PIXNET 留言(0) 人氣()