“2021年9月”存档文章有14

如何通过 User-Agent 识别百度蜘蛛

如果有大量的百度蜘蛛抓取网站就需要注意了:有可能是其他爬虫伪造百度蜘蛛恶意抓取网站。如果遇到这种情况,这时候就需要查看日志来确定是不是真正的百度蜘蛛(baidu spider)。搜索引擎蜘蛛、用户访问、爬虫等访问都会留下 User-Agent。我们可以通过 User-Agent 大概判断是不是百度蜘蛛(baidu spider)。百度 User-Agent 主要有以下几个:百度 PC 蜘蛛 Use...

爬虫介绍 BiliBili

BiliBili 爬虫识别视频

中国行政区划分

中华人民共和国行政区划是中华人民共和国于1949年成立之后建立的行政区划体系,历经多次调整。现行体系主要包括4级结构:省级行政区、地级行政区、县级行政区、乡级行政区。作为一级行政区的省级行政区包括省、自治区、直辖市、特别行政区4类,自1999年12月20日(澳门回归)起共有34个一级行政区,即23省(其中台湾省从未实际管治)、4直辖市、5自治区、2特别行政区。中华人民共和国行政区划层次架构中华人民...

System information disabled due to load higher than 1.0

今天登录系统,出现了如下提示:System information disabled due to load higher than 1.0说明:系统负载平均值是处于可运行或不可中断状态的平均进程数。处于可运行状态的进程要么正在使用 CPU,要么正在等待使用 CPU。处于不可中断状态的进程正在等待一些 I/O 访问,例如等待磁盘。取三个时间间隔的平均值。负载平均值并未针对系统中的 CPU 数量进行...

contentType 与 dataType 区别

最近在使用 Jquery 的 $.ajax() 向后端提交数据,具体代码片段如下:$.ajax({ type: "POST", url: "/api/v1/tools/ip-convert", contentType: 'application/json', dataType: "json", data: JSON.stringify({"ip": $IPVal}),...

MySQLdb 错误处理

最近使用 DBUtils 数据库连接池,更新数据库,但是在更新的时候出现如下错误:(1452, 'Cannot add or update a child row: a foreign key constraint fails (`rewrite_database_production`.`table_name_2019`, CONSTRAINT `table_name_2019_ibfk_1` ...

Javascript 替换多个空格

Javascript 替换多个空格,具体示例代码如下:let cidr_selected = $("#tools-mdc-text-field").val();const r = /\s+/g;cidr_selected = cidr_selected.replace(r, '');这里获取用户输入,之后使用正则替换空格。

ValueError: fe80::204:61ff:fe9d:f156/11 has host bits set

最近在使用 Python ipaddress 做 CIDR 转换的时候,出现了如下错误:ValueError: fe80::204:61ff:fe9d:f156/11 has host bits set出现问题的原因:如果地址不代表有效的 IPv4 或 IPv6 地址,或者网络设置了主机位,则会引发 ValueError 。原来错误代码:ip_v6_cidr = 'fe80:0000:0000:0...