该问题已被锁定!
2
关注
3079
浏览

AWS哪些目录是可以禁止搜索引擎爬行的?

AI智能回复搜索中,请稍后...

为什么被折叠? 0 个回复被折叠
zhengqiang 超级管理员 用户来自于: 广东省深圳市
2012-10-12 12:55
只要服务器把列目录的功能关闭,不能爬行的都不会被爬。

关于作者

问题动态

发布时间
2012-10-12 12:08
更新时间
2012-10-12 12:55
关注人数
2 人关注

相关问题

成功安装却无法进入网站主页(已经自己解决,是UPLOAD目录权限问题)?
模板到底可以不可以仿呢?吓得我都不敢说话了【关于那个模板的事情】
请问1.1RC以后可以直接升级到1.3RC吗,如果可以,我就不升级到1.2RC了,等下次再升级。
教育经历是否可以后台添加学校,比方有的用户可能会写北大,有的用户会写北京大学,这样造成了不好识别呀
手机上,从浏览器可以登录,从微信登录提示:与微信通信失败,这是什么原因?
分享功能的接口的在哪里设置,现在默认是“来自anwsion”的,可以自定义吗?
问题标题可以空白?
安装时配置了数据库信息,后来我修改了数据库密码,然后访问wecenter就出错了。请问哪里可以修改数据库配置?
We Center 默认帖子的上浮,下沉的规则是怎样的?这个规则是否可以由站长在后台直接定义、修改?or需要另外的程序支持(如插件)We Center 是否提供了对应的接口,使得模块可以相对独立?
为什么自己发布的信息不可以删除?

推荐内容

wecenter的robots规则
wecenter 采用的是那种搜索技术
搜索问题怎么优化?官方的不能用,求方案
facebook推搜索引擎会有机会么?
怎么增加搜索框中 搜索文章标题呢? 文章搜索不到
如何看待周鸿祎对360搜索的定位?
搜索引擎收录时的时间是错的,网站哪里出了问题?
我中招了,用模拟搜索引擎捉取网站,捉取一次就变一次。。。【已解决】
anwsion搜索是怎样的原理?
请问 在robots.txt文件中,一般是放行那几个目录?