robots协议或者说robots文件对搜索引擎优化中非常重要,但设置出错可能会导致收录下降或不能正常收录。今天,小小课堂SEO自学网带来的是《【robots文件协议】解除Robots封禁全过程》。希望本次的百度SEO优化培训对大家有所帮助。
一、robots被封禁的问题来源小小课堂SEO自学网为WordPress博客,前几天弄了个“SEO问答”的栏目,是由一个新的CMS系统创建而成的,而这个系统是动态URL,未做伪静态处理。SEO问答首页的URL:https://www.zhandodo.com***.***/ask/SEO问答栏目的URL:https://www.zhandodo.com***.***/ask/?expert/default.htmlSEO问答文章列表的URL:https://www.zhandodo.com***.***/ask/?c-1.htmlSEO问答文章的URL:https://www.zhandodo.com***.***/ask/?q-176.html从上可以看出除了SEO问答首页,其余的都是带问号的,然而,WordPress根目录的robots.txt中包含了以下一条:Disallow: /*?*因为这一条的意思是禁止访问网站中所有包含问号(?) 的网址,所以上面的那些带问号的URL就被禁止搜索引擎抓取了。二、解除Robots封禁全过程小小课堂SEO自学网解除robots文件协议的全过程如下:① 去掉robots禁止抓取的规则也就是去掉Disallow: /*?* 。② 抓取失败进入百度站长后台后,点击“数据监控”>“抓取诊断”>输入网址后面的部分,最后点击抓取。③ 点击“抓取失败”通过下图可以看出“抓取异常信息:Robots封禁”,点击“网站IP:106.***.***.217”后面的“报错”。略等一会即可。④ Robots检测并更新点击检测并更新robots如未特殊注明,文章均来源于网络! 转载请注明来自:http://www.zhandodo.com免责声明:文章内容不代表本站立场,本站不对其内容的真实性、完整性、准确性给予任何担保、暗示和承诺,仅供读者参考;文章版权归原作者所有!本站作为信息内容发布平台,页面展示内容的目的在于传播更多信息;本站不提供任何相关服务,阁下应知本站所提供的内容不能做为操作依据。市场有风险,投资需谨慎!如本文内容影响到您的合法权益(含文章中内容、图片等),请及时联系本站,我们会及时删除处理。