增加一个反爬虫的功能吧 - WeCenter 社交化知识问答社区程序

该问题已被锁定！

5: 关注

2816: 浏览

增加一个反爬虫的功能吧

上线之后，经常访问量突然暴增，想都不用想，是有人开始爬虫抓取了，辛辛苦苦原创写下来，却要被复制或模仿，相信大家也是不希望这样的吧

好问题 0 评论收藏举报

AI智能回复搜索中，请稍后...

查看全部 3 个回答

wander 注册会员用户来自于: 安徽省合肥市
2020-12-08 13:40

1.首先可以看看日志，抓取的爬虫是搜索引擎还是伪装为搜索引擎的爬虫。如果是搜索引擎且不想被对方抓取，可以通过robots.txt屏蔽，例如，屏蔽掉yandex、DotBot、Archiver等

#
# robots.txt for WeCenter
#
User-Agent: YandexBot
Disallow: /
User-Agent: DotBot
Disallow: /
User-Agent: trendictionbot
Disallow: /
User-Agent: ia_archiver
Disallow: /

2.如果是恶意抓取，可以分析IP地址，然后通过服务器端配置拒绝该IP的访问。

PS.反爬虫工作量、技术要求特别高，如果真有人可以针对，技术成本很高，看看大型站点在这方面的投入就知道了

赞同 2 0评论

关于作者

: sunyang3721 初级会员
这家伙很懒，还没有设置简介

7: 回答

0: 文章

7: 问题

问题动态

发布时间: 2020-12-02 11:08

更新时间: 2020-12-23 22:16

关注人数: 5 人关注

相关问题

建议：增加lazyload延时加载: 2841 浏览 6 关注 4 回答 0 评论

为什么新建了模板文件夹，页面上还是读取的default中的common.css等？只读取了一个模板.css、: 1645 浏览 3 关注 1 回答 0 评论

强烈建议官方迅速把基础功能完善，让一部分人先用起来。: 1977 浏览 4 关注 0 回答 0 评论

anwsion的开源是一个彻头彻尾的圈套！.: 20884 浏览 31 关注 28 回答 2 评论

建立后台开发一个计划任务模块: 1716 浏览 2 关注 0 回答 0 评论

应该加强搜索的功能，像知乎一样支持模糊关键词搜索！: 2709 浏览 4 关注 1 回答 0 评论

终于发现一个很牛逼的程序: 3951 浏览 10 关注 8 回答 4 评论

2.0 怎么打开很慢服务器没有问题别的程序打开一样很快的都是放在同一个服务器: 1878 浏览 2 关注 1 回答 1 评论

是否有计划增加博客功能？: 2044 浏览 4 关注 2 回答 0 评论

anwsion的私信功能会和以下哪种方式类似呢？: 2942 浏览 3 关注 1 回答 0 评论

推荐内容

问新版本不错，但是专题界面有bug额，看图，用户列表搜索无效: 1335 浏览 1 关注 0 回答 1 评论

问预览内容能够再丰富些吗？: 2201 浏览 1 关注 0 回答 0 评论

问这个程序不支持多语言吧？: 2179 浏览 2 关注 1 回答 0 评论

问话说怎么样让分类出现在文章标题的后面并显示带有分类的颜色: 2430 浏览 4 关注 2 回答 0 评论

问经验右侧的“经验专题”标签和系统标签是否通用？如果通用，点击标签后，建议显示“经验”，这样才可以浑然天成: 1930 浏览 3 关注 0 回答 0 评论

问 WeCenter 支持 SQLite 么？: 2737 浏览 3 关注 2 回答 0 评论

问问题可以点赞: 1941 浏览 1 关注 1 回答 0 评论

问网站登录页面和首页LOGO如何修改？: 1538 浏览 2 关注 0 回答 0 评论

问关于知识分享平台的盈利的一点建议: 5845 浏览 12 关注 10 回答 0 评论

问建议：分类功能加入只有特定组才可以浏览: 2811 浏览 2 关注 1 回答 0 评论

All Rights Reserved Powered BY WeCenter V4.1.0 © 2025 皖公网安备 34019202000400号