该问题已被锁定!
2
关注
3284
浏览

AWS哪些目录是可以禁止搜索引擎爬行的?

AI智能回复搜索中,请稍后...

为什么被折叠? 0 个回复被折叠
zhengqiang 超级管理员 用户来自于: 广东省深圳市
2012-10-12 12:55
只要服务器把列目录的功能关闭,不能爬行的都不会被爬。

关于作者

问题动态

发布时间
2012-10-12 12:08
更新时间
2012-10-12 12:55
关注人数
2 人关注

相关问题

可不可以发起问题一定要在该话题下
分类在后台可以设置独立的title吗?
是否可以设置私密问题,限制部分用户阅读
支付功能完善没有,现在可以用了吗?
手机端怎么可以开启游客浏览功能?
建议是否可以把问题分类与文章分类分别设置?
为什么不能直接粘贴图片呢?要怎么样才可以直接粘贴图片?
假如要备份,备份哪些文件夹和文件就可以了?
编辑器插入图片功能可以参考下Discourse
点击问题回复无回复窗口弹出,文章可以回复

推荐内容

wecenter的robots规则
facebook推搜索引擎会有机会么?
从dz转过来后,怎样应对搜索引擎?以前的收录怎么办?
从百度搜索不能直接链接到相关页面吗?
请问 在robots.txt文件中,一般是放行那几个目录?
anwsion搜索是怎样的原理?
请教用七牛后robots.txt的设置方法
为了避免重复收录写的robots.txt 大家看下我这规则对不对
Wecenter的robots这样写 是否更好一些?
Google Webmaster 总是提示我Robots.txt无法访问,大家遇到吗?