robots.txt到底能不能屏蔽百度蜘蛛？
问题补充：我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
官方回复：如果其他网站链接了您robots.txt文件中设置的禁止收录的网页，那么这些网页仍然可能会出现在百度的搜索结果中，但您的网页上的内容不会被抓取、建入索引和显示，百度搜索结果中展示的仅是其他网站对您相关网页的描述。
 
robots解除禁止抓取后的生效时间有多长？
官方回复：百度发现robots设置并更新抓取状态，正常情况在7天以内。