文章内容
2020/8/19 11:34:53,作 者: 黄兵
2020年8月19日大量网络爬虫攻击总结
2020年8月19日，早上9：13左右，通过查看nginx日志，有大量connect连接网站，截图如下：
虽然connect连接发送很少的字节，但是如果同一时间非常多，也会将服务器的宽带占满，导致正常访客打开网站速度非常慢。
开始大量屏蔽Connect连接的IP。
同时大量请求网站正常内容，由于做了反爬虫措施，无法获取正常内容，都被重定向，由于重定向返回的字节数有点多，下面是选取的nginx日志一段内容：
43.242.242.196 - - [19/Aug/2020:09:18:40 +0800] "GET /article/Instructions_for_testing_anti-reptiles_recently_global_v2?return_url=%2F%3Fpage%3D1 HTTP/1.1" 200 13859
可以看到返回了13859字节，转换成KB是：13.53418KB，但是依然请求非常多，导致宽带资源被占满。
开始根据关键字屏蔽相应IP，经过两个小时左右的屏蔽，已经将流量恢复正常，截图如下：
事后对屏蔽的IP进行查找，发现在一些代理网站上有部分IP，可以肯定，应该是恶意消耗宽带的攻击，不知主要抓取内容的。
应该攻击者提前测试过，正常更本无法抓取，所以是宽带消耗攻击。
备份了一下防火墙的IP列表，在此下载：https://image.pdflibr.com/blog/iptables.conf
通过这次攻击，如果是要防御，需要不断收集互联网上公开的代理IP，并将其加入到网站黑名单里面，这样如果是黑名单里的IP直接返回403错误。
黄兵个人博客原创。
转载请注明出处： 黄兵个人博客 - 2020年8月19日大量网络爬虫攻击总结
评论列表