该问题已被锁定!
2
关注
3559
浏览

AWS哪些目录是可以禁止搜索引擎爬行的?

AI智能回复搜索中,请稍后...

查看全部 1 个回答

zhengqiang 超级管理员 用户来自于: 广东省深圳市
2012-10-12 12:55
只要服务器把列目录的功能关闭,不能爬行的都不会被爬。

关于作者

问题动态

发布时间
2012-10-12 12:08
更新时间
2012-10-12 12:55
关注人数
2 人关注

相关问题

是否将后台积分里的数字都改成正数,用户操作时就可以一直赢取积分了?
手机端怎么可以开启游客浏览功能?
积分名称和积分公式可以由站长自定义设置吗?
这个可以弄成微博啊
Anwsion 1.1 Beta 2更新了哪些内容?
自己可以赞自己
我有点看不懂AWS的版本命名方式
Wecenter 3.3.1 可以和其他程序实现对接么?
大神好,请问我们的头像上传不上去是啥情况呢,本地的可以上传,服务器上就上传不了
wecenter可以邀请专家回答吗,可以把用户设定为专家吗

推荐内容

facebook推搜索引擎会有机会么?
搜索引擎收录时的时间是错的,网站哪里出了问题?
wecenter的robots规则
终于明白百度为啥不收录了,看看这怎么办?
anwsion搜索是怎样的原理?
搜索问题怎么优化?官方的不能用,求方案
请问 在robots.txt文件中,一般是放行那几个目录?
Google Webmaster 总是提示我Robots.txt无法访问,大家遇到吗?
请教用七牛后robots.txt的设置方法
wecenter 采用的是那种搜索技术