该问题已被锁定!
2
关注
3096
浏览

AWS哪些目录是可以禁止搜索引擎爬行的?

AI智能回复搜索中,请稍后...

为什么被折叠? 0 个回复被折叠
zhengqiang 超级管理员 用户来自于: 广东省深圳市
2012-10-12 12:55
只要服务器把列目录的功能关闭,不能爬行的都不会被爬。

关于作者

问题动态

发布时间
2012-10-12 12:08
更新时间
2012-10-12 12:55
关注人数
2 人关注

相关问题

活动可以评论吗?
登录界面底部链接无法点击修正,具体是哪些文件的修改?
footer里的crond请求可以删掉吗?
wecenter里可以用阅读全文和收起功能吗
设置完七牛镜像之后我可以删除本地的附件?
wc与wp可以链接吗?
好复杂的页面,可不可以简单点。
希望微信端可以查询最新问题 等待答复问题
发起话题的时候自动匹配框是否 可以在右上角加一个叉叉;
微信自动回复可以支持模糊匹配么

推荐内容

从dz转过来后,怎样应对搜索引擎?以前的收录怎么办?
搜索问题怎么优化?官方的不能用,求方案
请问 在robots.txt文件中,一般是放行那几个目录?
facebook推搜索引擎会有机会么?
wecenter 采用的是那种搜索技术
请教用七牛后robots.txt的设置方法
怎么增加搜索框中 搜索文章标题呢? 文章搜索不到
wecenter的robots规则
为了避免重复收录写的robots.txt 大家看下我这规则对不对
从百度搜索不能直接链接到相关页面吗?