该问题已被锁定!
2
关注
2771
浏览

AWS哪些目录是可以禁止搜索引擎爬行的?

AI智能回复搜索中,请稍后...

为什么被折叠? 0 个回复被折叠
zhengqiang 超级管理员 用户来自于: 广东省深圳市
2012-10-12 12:55
只要服务器把列目录的功能关闭,不能爬行的都不会被爬。

关于作者

问题动态

发布时间
2012-10-12 12:08
更新时间
2012-10-12 12:55
关注人数
2 人关注

相关问题

此系统可以添加自定义代码 或者广告吗?
网站原来在目录,现在想挪到根目录,怎么搞?
新版本在IE6现在彻底无法浏览了呀??以前还可以将就浏览下
绑定微信后,可以用微信回复消息的方式直接发布问题吗?
WC可以游客发布或者回复问题吗?
2.2.1可以直接升级到2.2.5吗?
相对先需要的3个小功能。希望可以先考虑。
手机可以传图片吗
WeCenter 3.1.9 想安装在PHP7.1 环境下,需要修改哪些文件?
为什么首页、问题可以自适应ipad屏幕宽,经验、话题却不可以呢?

推荐内容

如何看待周鸿祎对360搜索的定位?
请问 在robots.txt文件中,一般是放行那几个目录?
为了避免重复收录写的robots.txt 大家看下我这规则对不对
Google Webmaster 总是提示我Robots.txt无法访问,大家遇到吗?
从dz转过来后,怎样应对搜索引擎?以前的收录怎么办?
wecenter 采用的是那种搜索技术
搜索引擎收录时的时间是错的,网站哪里出了问题?
facebook推搜索引擎会有机会么?
从百度搜索不能直接链接到相关页面吗?
wecenter的robots规则