记录生活中的点滴
每天我们身边都经历着这样或者那样的事情，好的不好的，高兴的不高兴的，快乐亦或忧伤的……这些都是人生必须要经历的，以后回想起来，看到这些有的时候觉得好笑，无论怎么样，这都组成了我们生活的一部分。
如何判断一个 IP 是爬虫
2021年11月07日
如果你查看服务器日志，看到密密麻麻的 IP 地址，你一眼可以看出来那些 IP 是爬虫，那些 IP 是正常的爬虫，就像这样：在这密密麻麻的日志里面，我们不仅要分辨出真正的爬虫 IP ，同时也要分辨出伪造的爬虫 IP，实属不易。如果查看服务器日志，我们可以先通过 User-agent 大致判断出是爬虫还是正常用户，例如：Mozilla/5.0 (compatible; SemrushBot/7~bl;...
爬虫进行 IP 识别
2021年11月07日
通过查询 IP 识别爬虫74.6.168.229 这是一个 IPv4 地址，一个 IP 地址存在有很多信息，例如：这个 IP 地址是一个美国纽约的 IP 地址，他属于 Oath Holdings Inc. 公司，同时他也是一个爬虫的 IP。等等，他是一个爬虫的 IP ，你怎么看出来的？我们可以通过 IP 反查，可以看到这个 IP 的 Hostname 是：g1026.crawl.yahoo.net...
中国电信如何获取公网 IP
2021年11月05日
中国电信用户如果需要获取公网 IP 首先需要满足两个条件：1、中国电信申请开通公网 IP；2、获取电信光猫网关的超级管理员密码。下面详细说明获取公网 IP 的详细步骤：1、将网线一头插入光猫 LAN 口，一头插入电脑网口，之后登录 http://192.168.1.12、用户名默认不用更改，密码是超级管理员密码（并不是光猫后面的密码，截图见下），如果你不知道，你可以联系给你安装宽带的师傅，或者是联...
URL 与 URI 的区别
2021年09月30日
术语“URI”和“URL”经常互换使用，但它们并不完全相同。“URI”是一个标识符：标记特定的资源。就像一页、一本书或一份文件。“URL”是特殊类型的标识符：它告诉您如何访问它，比如HTTPs，FTP等。例如：https://www.pdflibr.com下图展示了 URI 与 URL 的关系：所有 URL 都是 URI，但并非所有 URI 都是 URL。参考资料：1、What’s the Dif...
如何通过 User-Agent 识别百度蜘蛛
2021年09月24日
如果有大量的百度蜘蛛抓取网站就需要注意了：有可能是其他爬虫伪造百度蜘蛛恶意抓取网站。如果遇到这种情况，这时候就需要查看日志来确定是不是真正的百度蜘蛛（baidu spider）。搜索引擎蜘蛛、用户访问、爬虫等访问都会留下 User-Agent。我们可以通过 User-Agent 大概判断是不是百度蜘蛛（baidu spider）。百度 User-Agent 主要有以下几个：百度 PC 蜘蛛 Use...