AWS哪些目录是可以禁止搜索引擎爬行的？ - WeCenter 社交化知识问答社区程序

该问题已被锁定！

2: 关注

2774: 浏览

AWS哪些目录是可以禁止搜索引擎爬行的？

想写个robots.txt文件，不知道AWS哪些目录是可以禁止搜索引擎爬行的？

好问题 0 评论收藏举报

AI智能回复搜索中，请稍后...

查看全部 1 个回答

zhengqiang 超级管理员用户来自于: 广东省深圳市
2012-10-12 12:55

只要服务器把列目录的功能关闭，不能爬行的都不会被爬。

赞同 0 2评论

关于作者

: yangunbo 初级会员
这家伙很懒，还没有设置简介

136: 回答

0: 文章

61: 问题

问题动态

发布时间: 2012-10-12 12:08

更新时间: 2012-10-12 12:55

关注人数: 2 人关注

相关问题

建议：支持和反对可以增加理由和增加/减少积分设置~: 1905 浏览 2 关注 1 回答 0 评论

从哪里可以看出用户是手机登陆的？: 2187 浏览 2 关注 1 回答 0 评论

关于awsion我们自己开发移动应用的问题: 2037 浏览 5 关注 2 回答 0 评论

可以限制会员组在提出问题的时候没有添加话题的权限吗？目前的情况是任何会员都可以随意设置话题。: 1572 浏览 4 关注 1 回答 0 评论

wecenter可以建成一个像知乎一样的超级大站吗？: 2296 浏览 1 关注 0 回答 0 评论

二级目录应用: 2350 浏览 2 关注 1 回答 0 评论

在哪个文件里可以修改新浪登录的地址: 1863 浏览 1 关注 0 回答 0 评论

Wecenter可以实现邀请码注册么？: 1571 浏览 2 关注 1 回答 0 评论

有没精通Linux主机配置的高手，apache泛域名指定目录，有什么好的方法？: 2072 浏览 1 关注 0 回答 0 评论

修改两个文件，易信与微信（订阅号）两个平台就可以共同使用了，先验证现修改，不提供后续辅助！: 4444 浏览 8 关注 3 回答 0 评论

推荐内容

问搜索问题怎么优化?官方的不能用,求方案: 2632 浏览 2 关注 1 回答 0 评论

问怎么用robots屏蔽分类列表和推荐、热门、待回复: 2260 浏览 1 关注 0 回答 0 评论

问请问在robots.txt文件中，一般是放行那几个目录？: 1985 浏览 2 关注 1 回答 0 评论

问 Wecenter的robots这样写是否更好一些？: 2920 浏览 3 关注 2 回答 0 评论

问从百度搜索不能直接链接到相关页面吗？: 2927 浏览 3 关注 1 回答 0 评论

问 facebook推搜索引擎会有机会么？: 3418 浏览 3 关注 3 回答 0 评论

问 wecenter的robots规则: 1632 浏览 1 关注 0 回答 0 评论

问如何看待周鸿祎对360搜索的定位？: 3094 浏览 3 关注 2 回答 0 评论

问我中招了，用模拟搜索引擎捉取网站，捉取一次就变一次。。。【已解决】: 3003 浏览 5 关注 3 回答 0 评论

问终于明白百度为啥不收录了，看看这怎么办？: 3771 浏览 7 关注 4 回答 0 评论

All Rights Reserved Powered BY WeCenter V4.1.0 © 2024 皖公网安备 34019202000400号