该问题已被锁定!
2
关注
3237
浏览

AWS哪些目录是可以禁止搜索引擎爬行的?

AI智能回复搜索中,请稍后...

为什么被折叠? 0 个回复被折叠
zhengqiang 超级管理员 用户来自于: 广东省深圳市
2012-10-12 12:55
只要服务器把列目录的功能关闭,不能爬行的都不会被爬。

关于作者

问题动态

发布时间
2012-10-12 12:08
更新时间
2012-10-12 12:55
关注人数
2 人关注

相关问题

WeCenter 2.5.9可以直接升级到3.0.2吗?
手机版本bug,如果关闭站点,桌面版管理员还是可以进入登录界面的;但是手机版,貌似一直是循环无法进入登录界面状态??
单页模板如何让只有登录后可以查看?
编辑框的工具栏不可以做成跟随屏幕移动吗?
2.5beta版本可以用于建站吗?
来赞助一下?你可以的
安装在二级目录怎么顶级域怎么重定向到3W上
如果可以能不能添加一个语音功能
自己发的问题哪里可以设置下可以删除呢?
怎么设置游客不登陆就可以访问呢?

推荐内容

anwsion搜索是怎样的原理?
wecenter 采用的是那种搜索技术
wecenter的robots规则
请教用七牛后robots.txt的设置方法
我中招了,用模拟搜索引擎捉取网站,捉取一次就变一次。。。【已解决】
怎么增加搜索框中 搜索文章标题呢? 文章搜索不到
Wecenter的robots这样写 是否更好一些?
从dz转过来后,怎样应对搜索引擎?以前的收录怎么办?
请问 在robots.txt文件中,一般是放行那几个目录?
搜索问题怎么优化?官方的不能用,求方案