“2021年11月”存档文章有34 篇
Python 实例化
2021/11/8 17:17:10
实例化：创建一个类的实例，类的具体对象。例如：class ProcessConnection: def __init__(self): logger_name = 'crawler' self._logger_write_file = logger_config.LoggingConfig().init_logging(logger_name) def in...
如何判断一个 IP 是爬虫
2021/11/7 8:28:54
如果你查看服务器日志，看到密密麻麻的 IP 地址，你一眼可以看出来那些 IP 是爬虫，那些 IP 是正常的爬虫，就像这样：在这密密麻麻的日志里面，我们不仅要分辨出真正的爬虫 IP ，同时也要分辨出伪造的爬虫 IP，实属不易。如果查看服务器日志，我们可以先通过 User-agent 大致判断出是爬虫还是正常用户，例如：Mozilla/5.0 (compatible; SemrushBot/7~bl;...
爬虫进行 IP 识别
2021/11/7 8:23:18
通过查询 IP 识别爬虫74.6.168.229 这是一个 IPv4 地址，一个 IP 地址存在有很多信息，例如：这个 IP 地址是一个美国纽约的 IP 地址，他属于 Oath Holdings Inc. 公司，同时他也是一个爬虫的 IP。等等，他是一个爬虫的 IP ，你怎么看出来的？我们可以通过 IP 反查，可以看到这个 IP 的 Hostname 是：g1026.crawl.yahoo.net...
IPv6 私有地址
2021/11/7 8:14:03
在互联网的地址架构中，专用网络是指遵守RFC 1918（IPV4）和RFC 4193（IPV6）规范，使用专用IP地址空间的网络。私有IP无法直接连接互联网，需要使用网络地址转换（Network Address Translator，NAT）或者代理服务器 （proxy server）来实现。与公网IP相比，私有IP是免费的，同时节省了IP地址资源，适合在局域网使用。IPv6 的私有 IP 定义在...
Access denied; you need (at least one of) the SUPER privilege(s) for this operation
2021/11/6 16:54:22
今天在做迁移的时候，导入到 RDS 中出现了如下错误：ERROR 1227 (42000) at line 18: Access denied; you need (at least one of) the SUPER privilege(s) for this operation出现问题的原因：RDS 提供的 MySQL 服务器不允许 DEFINER 其他用户使用语法（以我的经验）。解决方案：您...
mysqldump: Couldn't execute 'SELECT COLUMN_NAME,
2021/11/6 16:03:44
最近在使用 mysqldump 做数据迁移的时候出现了如下错误：Warning: A partial dump from a server that has GTIDs will by default include the GTIDs of all transactions, even those that changed suppressed parts of the database. If...
如何更改 MySQL 用户密码
2021/11/6 15:24:47
在本教程中，我们将向您展示如何更改 MySQL 用户密码。这些说明应该适用于任何现代 Linux 发行版，例如 Ubuntu 18.04 和 CentOS 7。先决条件 根据您在系统上运行的 MySQL 或 MariaDB 服务器版本，您将需要使用不同的命令来更改用户密码。您可以通过发出以下命令来找到您的数据库服务器版本：mysql --version如果您的系统中安装了 MySQL，输出将如下所...