Python学习记录

Python的创始人为
吉多·范罗苏姆
(Guido van Rossum)

    Python英国发音:/ˈpaɪθən/ 美国发音:/ˈpaɪθɑːn/),是一种面向对象直译式电脑程序语言。它包含了一组功能完备的标准库,能够轻松完成很多常见的任务。它的语法简单,与其它大多数程序设计语言使用大括号不一样,它使用缩进来定义语句块。

    与SchemeRubyPerlTcl动态语言一样,Python具备垃圾回收功能,能够自动管理内存使用。它经常被当作脚本语言用于处理系统管理任务和网络程序编写,然而它也非常适合完成各种高级任务。Python虚拟机本身几乎可以在所有的操作系统中运行。使用一些诸如py2exe、PyPy、PyInstaller之类的工具可以将Python源代码转换成可以脱离Python解释器运行的程序。

    Python的官方解释器是CPython,该解释器用C语言编写,是一个由社区驱动的自由软件,目前由Python软件基金会管理。

Python支持命令式程序设计面向对象程序设计函数式编程面向侧面的程序设计泛型编程多种编程范式。

爬虫系列:使用 MySQL 存储数据

2021年11月26日

上一篇文章我们讲解了爬虫如何存储 CSV 文件,这篇文章,我们讲解如何将采集到的数据保存到 MySQL 数据库中。MySQL 是目前最受欢迎的开源关系型数据库管理系统。一个开源项目具有如此之竞争力实在是令人意外,它的流行程度正在不断地接近两外两个闭源的商业数据库系统:微软的 SQL Server 和甲骨文的 Oracle 数据库(MySQL 在2010年被甲骨文收购)。它的流行程度名符其实。对于大...

爬虫系列:读取文档

2021年11月26日

上一篇文章我们介绍了如何通过 MySQL 存储 Python 爬虫采集的内容,以及使用Python 与 MySQL 交互,这篇文章我们介绍如何通过 Python 读取文档。虽然互联网在20世纪60年代末期就已经以不同的形式出现,但是 HTML 直到1992年才问世。在此之前,互联网上基本就是收发邮件传输文件;见天看到的网页概念那时还没有。总之,互联网并不是一个 HTML 页面的集合。他是一个信息集...

爬虫系列:存储 CSV 文件

2021年11月15日

上一期:爬虫系列:存储媒体文件,讲解了如果通过爬虫下载媒体文件,以及下载媒体文件相关代码讲解。本期将讲解如果将数据保存到 CSV 文件。逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号)是存储表格数据常用文件格式。Microsoft Excel 和很多应用都支持 CSV 格式,因为它很简洁。下面是一个 CSV 文件的例子:code,...

Python 文件模式

2021年11月15日

r’:只读。该文件必须已存在。‘r+’:可读可写。该文件必须已存在,写为追加在文件内容末尾。‘rb’:表示以二进制方式读取文件。该文件必须已存在。‘w’:只写。打开即默认创建一个新文件,如果文件已存在,则覆盖写(即文件内原始数据会被新写入的数据清空覆盖)。‘w+’:写读。打开创建新文件并写入数据,如果文件已存在,则覆盖写。‘wb’:表示以二进制写方式打开,只能写文件, 如果文件不存在,创建该文件;...

Python 创建文件夹

2021年11月13日

主要涉及到三个函数:1、os.path.exists(path): 判断一个目录是否存在2、os.makedirs(path) :多层创建目录3、os.mkdir(path) :创建目录下面是示例代码:import os path=path.strip() #去除首位空格 path=path.rstrip("\\") # 去除尾部 \ 符号 isExists=os.path.exists...

SQLAlchemy 更新数据

2021年11月12日

下面是几种 SQLAlchemy 更新数据的方式:conn = engine.connect()update_ip_v4_range = (update(IPV4PublicAddress).where(IPV4PublicAddress.ip >= get_from_int) .where(IPV4PublicAddress.ip <= get_to_int) .values( ...

Python 实例化

2021年11月08日

实例化:创建一个类的实例,类的具体对象。例如:class ProcessConnection: def __init__(self): logger_name = 'crawler' self._logger_write_file = logger_config.LoggingConfig().init_logging(logger_name) def in...

爬虫系列:存储媒体文件

2021年11月04日

上一期讲解了:使用 API本期爬虫系列主要讲解爬虫采集完成数据之后,我们应该怎么存储,以及用什么样的方式存储数据。虽然在命令行里显示结果很有意思,但是随着数据不断增多,并且需要对数据分析时,将数据打印到命令行就不是办法了。为了可以远程使用大部分网络爬虫,你还需要把采集到的数据存储起来。本篇文章介绍的数据存储方式,绝大多数应用程序都适用。如果你准备创建一个网站的后端服务或者创建自己的 API,那么可...