备案域名交易

robots.txt到底能不能屏蔽百度蜘蛛？问题补充：我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？官方回复：如果其他网站链接了您robots.txt文件中设置的禁止收录的网页，那么这些网页仍然可能会出现在百度的搜索结果中，但您的网页上的内容不会被抓取、建入索引和显示，百度搜索结果中展示的仅是其他网站对您相关网页的描述。 robots解除禁止抓取后的生效时间有多长？官方回复：百度发现robots设置并更新抓取状态，正常情况在7天以内。

     以前觉得，网页上面不需要的URL，我用robots屏蔽就行了。可是事实上并不是这样。在GWT的Crawl Errors中，会出现Restricted by robots.txt这样的错误。很奇怪，我用robots屏蔽了，为何还算做crawl errors呢？     我拿我自己的网站为例，我们的内页是www.mydomain.com/A/1.html     在这个页面上有很多链接，其中有     www.mydomain.com/A/1/similar1.html     www.mydomain.com/A/1/similar2.html     这两个链接是我不想让搜索引擎爬行的。