1. robots.txt可能告诉百度您网站的哪些页面可能被抓取，哪些页面弗成能被抓取。

2. 您可能通过Robots器材来创修、校验、更新您的robots.txt文献，怎么办商标注册或查看您网站robots.txt文献正在百度生效的处境。一个人的商标

3. Robots器材目前维持48k的文献实质检测，请保障您的robots.txt文献不要过大，目次最长不赶上250个字符。