rebots.txt的设置，怎么设置可以减少带宽，还可以增加搜索引擎对网站的收录？

该问题已被锁定！

5: 关注

2820: 浏览

rebots.txt的设置，怎么设置可以减少带宽，还可以增加搜索引擎对网站的收录？

网站优化

好问题 1 评论收藏举报

AI智能回复搜索中，请稍后...

2 回答

gamebus 初级会员用户来自于: 北京市
2013-08-07 10:58

nofollow并不能阻止抓取，他的作用是不传递权重，蜘蛛依然会抓。 robots可以禁止效价比非常低的搜索蜘蛛抓取，还可以禁止不是搜索引擎的蜘蛛抓去，当然前提是这个蜘蛛遵守这个协议。比如这边禁止了某蜘蛛，此蜘蛛疯狂抓取，流量贡献却微乎其微，索性将其禁止。这样每个月至少节约了几个g的流量。 robots还可以引导蜘蛛，告诉他哪些可以抓，那些不能抓，这样也能节约一定的流量。想增加索引量，robots可以做的是，告诉蜘蛛你网站的地图在哪里，让蜘蛛去抓取地图。感觉质量高，数量多的内容才是提高索引量的根本。有兴趣的话，可以继续探讨这个问题。

赞同 0 0评论

阿北初级会员用户来自于: 安徽省阜阳市
2013-08-07 00:04

robots 没有办法，它本身就是禁止收录的命令。除非你是考虑网站定位问题，比如你并不希望通过百度图片获取流量，可以考虑屏蔽掉图片蜘蛛来节省带宽，依次类推其他类型的蜘蛛。除此之外可以考虑用 nofollow 来引导蜘蛛抓取重要的内容。内容较多可以参考： http://ask.seowhy.com/question/1544

赞同 2 0评论

关于作者

: itdazhu 注册会员
这家伙很懒，还没有设置简介

2: 回答

0: 文章

3: 问题

问题动态

发布时间: 2013-08-06 23:46

更新时间: 2013-08-07 10:58

关注人数: 5 人关注