Python学习记录

Python的创始人为
吉多·范罗苏姆
(Guido van Rossum)
Python(英国发音:/ˈpaɪθən/ 美国发音:/ˈpaɪθɑːn/),是一种面向对象、直译式的电脑程序语言。它包含了一组功能完备的标准库,能够轻松完成很多常见的任务。它的语法简单,与其它大多数程序设计语言使用大括号不一样,它使用缩进来定义语句块。
与Scheme、Ruby、Perl、Tcl等动态语言一样,Python具备垃圾回收功能,能够自动管理内存使用。它经常被当作脚本语言用于处理系统管理任务和网络程序编写,然而它也非常适合完成各种高级任务。Python虚拟机本身几乎可以在所有的操作系统中运行。使用一些诸如py2exe、PyPy、PyInstaller之类的工具可以将Python源代码转换成可以脱离Python解释器运行的程序。
Python的官方解释器是CPython,该解释器用C语言编写,是一个由社区驱动的自由软件,目前由Python软件基金会管理。
Python支持命令式程序设计、面向对象程序设计、函数式编程、面向侧面的程序设计、泛型编程多种编程范式。
爬虫系列:数据清洗
2021年12月15日
上一期我们讲解了使用 Python 读取 CSV、PDF、Word 文档相关内容。前面我们已经介绍了网络数据采集的一些基础知识,现在我们将进入高级数据采集部分。到目前为止,我们创建的网络爬虫都不是特别给力,如果网络服务器不能立即提供样式规范的信息,爬虫就不能采集正确的数据。如果爬虫只能采集那些显而易见的信息,不经过处理就存储起来,那么迟早要被登录表单、网页交互以及 Javascript 困住手脚。...
Original exception was: Could not determine join condition between parent/child tables on relationship
2021年12月15日
今天在使用 SQLAlchemy 的时候,内连接出现了如下错误:sqlalchemy.exc.InvalidRequestError: One or more mappers failed to initialize - can't proceed with initialization of other mappers. Triggering mapper: 'mapped class IPCr...
RuntimeError: Event loop is closed
2021年12月14日
今天检查 Ubuntu 运行的服务,出现了以下错误:12-14 01:35 apscheduler.executors.default ERROR Job "PingMonitorMain.run_web_transmission (trigger: interval[1:00:00], next run at: 2021-12-14 02:35:22 UTC)" raised an exc...
asyncio.exceptions.TimeoutError
2021年12月10日
最近运行在服务器上的程序出现了错误,具体错误内容如下:12-05 10:17 asyncio ERROR Task exception was never retrieved future: Task finished name='Task-494697' coro= exception=TimeoutError() Traceback (most recent call la...
爬虫系列:读取 CSV、PDF、Word 文档
2021年12月06日
上一期我们讲解了使用 Python 读取文档编码的相关问题,本期我们讲解使用 Python 处理 CSV、PDF、Word 文档相关内容。CSV我们进行网页采集的时候,你可能会遇到 CSV 文件,也可能项目需要将数据保存到 CSV 文件。Python 有一个超赞的标准库可以读写 CSV 文件。虽然这个库可以处理各种 CSV 文件,但是我们这里重点介绍标准 CSV 格式。读取 CSV 文件Pytho...
爬虫系列:读取文档与文件编码
2021年11月30日
上一篇文章我们介绍了如何通过 MySQL 存储 Python 爬虫采集的内容,以及使用Python 与 MySQL 交互,这篇文章我们介绍如何通过 Python 读取文档。虽然互联网在20世纪60年代末期就已经以不同的形式出现,但是 HTML 直到1992年才问世。在此之前,互联网上基本就是收发邮件传输文件;今天看到的网页概念那时还没有。总之,互联网并不是一个 HTML 页面的集合。他是一个信息集...
爬虫系列:使用 MySQL 存储数据
2021年11月26日
上一篇文章我们讲解了爬虫如何存储 CSV 文件,这篇文章,我们讲解如何将采集到的数据保存到 MySQL 数据库中。MySQL 是目前最受欢迎的开源关系型数据库管理系统。一个开源项目具有如此之竞争力实在是令人意外,它的流行程度正在不断地接近两外两个闭源的商业数据库系统:微软的 SQL Server 和甲骨文的 Oracle 数据库(MySQL 在2010年被甲骨文收购)。它的流行程度名符其实。对于大...
爬虫系列:读取文档
2021年11月26日
上一篇文章我们介绍了如何通过 MySQL 存储 Python 爬虫采集的内容,以及使用Python 与 MySQL 交互,这篇文章我们介绍如何通过 Python 读取文档。虽然互联网在20世纪60年代末期就已经以不同的形式出现,但是 HTML 直到1992年才问世。在此之前,互联网上基本就是收发邮件传输文件;见天看到的网页概念那时还没有。总之,互联网并不是一个 HTML 页面的集合。他是一个信息集...