DZ网站优化中robots.txt的设置及常见误区
DZ静态后，百度双快照处理，网站优化中robots.txt的设置。今天发现论坛出现百度双快照，由于是DZ X2的论坛，伪静态之后，百度依然收录动态页面，所以出现百度收录静态URL和动态URL的双快照问题。解决办法是 在robots.txt 里设置 Disallow: /?* 如果论坛是子目录请设置 Disallow: /bbs/?* 。下面顺便讲解一下网站优化中robots.txt运用经常出现的误区
在一个优化人员眼里必须懂的很好的运营robots，合肥seo优化公司提醒我们要注意robots使用误区，刚开始接触robots的时候觉得很简单，后来等自己去写的时候发现越来很多规则都不懂，于是上网找了很多资料，发现都不齐全没有自己想要的，于是只能请教朋友，整整一个下午我才明白，下面是我的分享：
前几天写了robots.txt的规矩误区并引见百度和Google的robots的运用，引见了几个robots.txt文件的规矩的误区，然后发现其实不止那些，还有很多人没有留意的误区。
今日从新罗列一下经常见的robots.txt实践运用中的误区：
误区1.Allow包括的局限超越Disallow，而且地位在Disallow前面。
比方有良多人如许写：
User-agent: *
Allow: /
Disallow: /mulu/
想让一切蜘蛛抓取本站除/mulu/下面的url之外的一切页面，制止抓取/mulu/下面的一切url。 查找引擎蜘蛛执行的规矩是从上到下，如许会形成第二句敕令掉效。也就是说制止抓取/mulu/目次这条规矩是无效的。准确的是Disallow应该在Allow之上，如许才会生效。在就是Allow:和Disallow:是不能同时运用的。
误区2.Disallow敕令和Allow敕令之后没有以斜杠”/”开首。
这个也很轻易被无视，比方有人如许写Disallow: 123.html ，这种是没有用果的。斜杠”/”透露表现的是文件关于根目次的地位，假如不带的话，天然无法判别url是哪个，所所以错误的。准确的应该是Disallow: /123.html，这样才干屏障/123.html这个文件，这条规矩才干生效。
误区3.屏障的目次后没有带斜杠”/”。
也就是比方想屏障抓取/mulu/这个目次，有些人如许写Disallow: /mulu。那么如许能否准确呢?起首如许写(Disallow: /mulu)的确可以屏障/mulu/下面的一切url，但是还也屏障了相似/mulu123.html这种开首为/mulu的一切页面，结果同等于Disallow: /mulu*。准确的做法是，假如只想屏障目次，那么必需在结束带上斜杠”/”。
下面的是我对robots正确写法的一些分享，相信对于一些做外贸seo和外贸网站推广的童鞋都是有所帮助的。
User-agent: *
Disallow: /*？*禁止抓取动态页面
Disallow: /api/ 禁止抓取api文件也就是目录上的一个文件夹
Disallow: /admin.php禁止抓取admin.php这个文件(包含子目录)不管它在那个文件夹内都不抓取它
Disallow: /search.php禁止抓取search.php这个文件(包含子目录)不管它在那个文件夹内都不抓取它
Disallow: /forum.php?mod=redirect* 禁止抓取文件名为forum.php的并且参数前缀为mod=redirect并且包含动态页面 *号在这里的意思是动态
Disallow: /*?mod=misc*禁止抓取所有参数前缀为mod=misc并且包含动态页面比如http://www.99seo.cn/mod=misc后面是一些动态链接
Disallow: /*mobile=yes* 禁止抓取网站包含mobile=yes的目录（包含子目录）只要网站上有这个文件的都不抓取 不管在那个文件夹下
Disallow:/?* 禁止抓取以问号开头的动态页面 举个列子http://www.99seo.cn/forunm.php?mod=sahog....这个格式的
Disallow:/userapp.php?mod=app&*禁止抓取网站文件名为userapp.php的并且参数为mod=app&的动态页面
本文来自:合肥百度推广http://www.99seo.cn,转载请注明出处.
页:
[1]