该问题已被锁定!
2
关注
3243
浏览

AWS哪些目录是可以禁止搜索引擎爬行的?

AI智能回复搜索中,请稍后...

为什么被折叠? 0 个回复被折叠
zhengqiang 超级管理员 用户来自于: 广东省深圳市
2012-10-12 12:55
只要服务器把列目录的功能关闭,不能爬行的都不会被爬。

关于作者

问题动态

发布时间
2012-10-12 12:08
更新时间
2012-10-12 12:55
关注人数
2 人关注

相关问题

手机端可以显示匿名信息?
省考面试时主要考察考生哪些方面的能力?
可以直接通过微信发图片吗?
针对认证会员可以设置擅长话题的建议。
部分用户名无法登录,使用邮箱则可以
大家有没有wecenter详细的网站目录权限设置方法呢?
如何在根目录下的404页面404.html加上搜索的功能
首页打开就是404 要加上/?/ 才可以访问
如何限制发“问题”可以不选分类,发“文章”必须选择分类
怎么可以单独为文章设置TDK

推荐内容

从百度搜索不能直接链接到相关页面吗?
如何看待周鸿祎对360搜索的定位?
请教用七牛后robots.txt的设置方法
wecenter的robots规则
搜索引擎收录时的时间是错的,网站哪里出了问题?
怎么增加搜索框中 搜索文章标题呢? 文章搜索不到
怎么用robots屏蔽分类列表和推荐、热门、待回复
终于明白百度为啥不收录了,看看这怎么办?
Google Webmaster 总是提示我Robots.txt无法访问,大家遇到吗?
搜索问题怎么优化?官方的不能用,求方案