AWS哪些目录是可以禁止搜索引擎爬行的？ - WeCenter 社交化知识问答社区程序

该问题已被锁定！

2: 关注

2776: 浏览

AWS哪些目录是可以禁止搜索引擎爬行的？

想写个robots.txt文件，不知道AWS哪些目录是可以禁止搜索引擎爬行的？

好问题 0 评论收藏举报

AI智能回复搜索中，请稍后...

1 回答

zhengqiang 超级管理员用户来自于: 广东省深圳市
2012-10-12 12:55

只要服务器把列目录的功能关闭，不能爬行的都不会被爬。

赞同 0 2评论

关于作者

: yangunbo 初级会员
这家伙很懒，还没有设置简介

136: 回答

0: 文章

61: 问题

问题动态

发布时间: 2012-10-12 12:08

更新时间: 2012-10-12 12:55

关注人数: 2 人关注

相关问题

视频可以禁止下载吗？: 795 浏览 2 关注 0 回答 0 评论

在Sank和zhengqiang的耐心帮助下，我的小站终于可以正常访问了。: 2251 浏览 4 关注 3 回答 0 评论

大家多感谢我一下吧，多赞同我一下吧，这样我的威望才可以增加起来啦。: 1914 浏览 1 关注 3 回答 0 评论

多个网站可以同时使用一个微信吗？: 1549 浏览 5 关注 3 回答 0 评论

根目录下的tmp文件夹是做什么的？: 1240 浏览 3 关注 1 回答 0 评论

IIS网站根目录权限，"脚本资源访问"这项要勾上吗？: 1975 浏览 2 关注 1 回答 0 评论

为什么不可以给问题投票?: 3162 浏览 4 关注 2 回答 0 评论

请问谁知道瑞吉欧教育的？听说可以去参加会议学习？有要求吗？报名渠道和费用呢？: 1752 浏览 1 关注 0 回答 0 评论

邀请好友加入社区只能使用邮件吗？可以生成邀请码吗？: 1807 浏览 4 关注 2 回答 0 评论

升级的时候可不可以不全部覆盖文件，logo等修改文件都被覆盖了。: 2169 浏览 3 关注 3 回答 0 评论

推荐内容

问搜索引擎收录时的时间是错的，网站哪里出了问题？: 2702 浏览 2 关注 1 回答 0 评论

问为了避免重复收录写的robots.txt 大家看下我这规则对不对: 1991 浏览 1 关注 0 回答 1 评论

问从百度搜索不能直接链接到相关页面吗？: 2929 浏览 3 关注 1 回答 0 评论

问如何看待周鸿祎对360搜索的定位？: 3094 浏览 3 关注 2 回答 0 评论

问 Google Webmaster 总是提示我Robots.txt无法访问，大家遇到吗？: 3426 浏览 5 关注 3 回答 0 评论

问请问在robots.txt文件中，一般是放行那几个目录？: 1987 浏览 2 关注 1 回答 0 评论

问从dz转过来后，怎样应对搜索引擎？以前的收录怎么办？: 2844 浏览 2 关注 3 回答 2 评论

问我中招了，用模拟搜索引擎捉取网站，捉取一次就变一次。。。【已解决】: 3005 浏览 5 关注 3 回答 0 评论

问 wecenter 采用的是那种搜索技术: 2383 浏览 3 关注 1 回答 1 评论

问终于明白百度为啥不收录了，看看这怎么办？: 3773 浏览 7 关注 4 回答 0 评论

All Rights Reserved Powered BY WeCenter V4.1.0 © 2024 皖公网安备 34019202000400号