该问题已被锁定!
2
关注
3234
浏览

AWS哪些目录是可以禁止搜索引擎爬行的?

AI智能回复搜索中,请稍后...

查看全部 1 个回答

zhengqiang 超级管理员 用户来自于: 广东省深圳市
2012-10-12 12:55
只要服务器把列目录的功能关闭,不能爬行的都不会被爬。

关于作者

问题动态

发布时间
2012-10-12 12:08
更新时间
2012-10-12 12:55
关注人数
2 人关注

相关问题

两个网站的用户可以共享吗?怎么实现
建议Anwsion可以自定义分类名称
anwsion 和百度新知的区别有哪些
注册页面的灰色背景不太好看,请问在哪个样式表文件里可以修改?
WeCenter用了哪些框架和插件?Zend Framework, JQuery, BootStrap?
3.1.4可以直接升级到3.1.6吗 之前没有升级到3.1.5版本
求一款可以下载图片的采集软件
一条问题可以永久可回复吗?
wecenter可以共用数据库吗
话题是否可以后台创建?

推荐内容

anwsion搜索是怎样的原理?
为了避免重复收录写的robots.txt 大家看下我这规则对不对
wecenter 采用的是那种搜索技术
从百度搜索不能直接链接到相关页面吗?
怎么增加搜索框中 搜索文章标题呢? 文章搜索不到
请问 在robots.txt文件中,一般是放行那几个目录?
wecenter的robots规则
如何看待周鸿祎对360搜索的定位?
搜索问题怎么优化?官方的不能用,求方案
从dz转过来后,怎样应对搜索引擎?以前的收录怎么办?