“2020年9月”存档文章有28

Ubuntu 18.04 安装 Docker

最近在学习Docker,正好有一台Ubuntu服务器闲置,于是在Ubuntu上开始安装Docker,具体步骤记录下来。首先执行的第一个命令用于确保运行的不是旧版本Docker,Docker包更改过几次名称,删除旧的名称:sudo apt-get remove docker docker-engine docker.io更新一下系统:sudo apt-get update接下来安装Docker Co...

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x82 in position 160: invalid start byte

最近在使用Python对byte解码的时候出现了如下错误:UnicodeDecodeError: 'utf-8' codec can't decode byte 0x82 in position 160: invalid start byte出现错误的原因:有些字符在utf-8中无法解码,就会出现这个错误,具体代码如下:returnValue = p.communicate()[1] retur...

Selenium support for PhantomJS has been deprecated, please use headless

最近在使用Python做爬虫的时候,PhantomJS"无头"(headless)浏览器与Selenium配合,但是出现了如下警告:UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead warnings.wa...

在Python中使用Selenium配合Chrome做爬虫的总结

最近在研究Python爬虫,正好有一个网站使用Javascript生成的,需要Selenium配合Chrome做爬虫,抓取网站内容。1、首先是下载Chrome,在此处:ChromeDriver - WebDriver for Chrome2、下载了之后解压出来3、安装Selenium包,我是通过PyCharm直接安装的,同时也可以到这里下载:https://pypi.org/simple/sele...

Message: 'chromedriver_win32' executable may have wrong permissions.

最近在使用ChromeDriver的时候出现如下错误:selenium.common.exceptions.WebDriverException: Message: 'chromedriver_win32' executable may have wrong permissions. Please see https://sites.google.com/a/chromium.org/chrome...

MySQL存储IP的一些总结

最近需要将所有IPv4保存到数据库,但是表结构设计的有点不合理,现在保存了7600万左右的数据,已经使用30G空间,使用如下命令统计:USE information_schema; SELECT TABLE_SCHEMA, SUM(DATA_LENGTH)/1024/1024/1024 FROM TABLES GROUP BY TABLE_SCHEMA;这里将单位换算成G,最后结果如下:显然...

Python命令行参数

最近在Python中需要根据在命令行中不同参数,运行不同程序,参考了这篇文章:Command Line Arguments in Python,写了一个Python命令行参数程序,具体代码如下:# !/usr/bin/env python # -*- coding: utf-8 -*- """ 将所有IPv4地址增加到数据库,同时host所有IP地址,获得主机名 获取所有IP地址地理位...

futures.ProcessPoolExecutor() 并行计算

concurrent.futures模块实现的是真正的并行计算,因为它使用ProcessPoolExecutor类把工作分配个多个Python进程处理。因此,如果需要CPU密集型处理,使用这个模块能够绕开GIL,利用所有可用的CPU核心。下面是ProcessPoolExecutor类的一个示例:def current_network(self): ip_range = '0.0.0.0/...