Python学习记录
Python的创始人为
吉多·范罗苏姆
（Guido van Rossum）
Python（英国发音：/ˈpaɪθən/ 美国发音：/ˈpaɪθɑːn/），是一种面向对象、直译式的电脑程序语言。它包含了一组功能完备的标准库，能够轻松完成很多常见的任务。它的语法简单，与其它大多数程序设计语言使用大括号不一样，它使用缩进来定义语句块。
与Scheme、Ruby、Perl、Tcl等动态语言一样，Python具备垃圾回收功能，能够自动管理内存使用。它经常被当作脚本语言用于处理系统管理任务和网络程序编写，然而它也非常适合完成各种高级任务。Python虚拟机本身几乎可以在所有的操作系统中运行。使用一些诸如py2exe、PyPy、PyInstaller之类的工具可以将Python源代码转换成可以脱离Python解释器运行的程序。
Python的官方解释器是CPython，该解释器用C语言编写，是一个由社区驱动的自由软件，目前由Python软件基金会管理。
Python支持命令式程序设计、面向对象程序设计、函数式编程、面向侧面的程序设计、泛型编程多种编程范式。
自动爬取SF文章并推荐到掘金--Puppeteer再探
2017年09月01日
看过上篇的同学，应该都会使用Puppeteer的高级爬虫功能了，附上姐妹篇链接：爬取并生成《ES6标准入门》PDF–Puppeteer初探除了爬虫之外，也可以使用Puppeteer完成页面上任意操作，即: 可以用来做UI自动化测试开门见山，今天的目标是，爬取SF的热门文章，自动推荐到掘金！！！简要提下Puppeteer的应用场景屏幕快照，打印PDF高级爬虫（有别于传统爬虫.使用Puppeteer可...
反爬虫
2017年09月01日
在爬虫时，某些网站会有封ip的现象,所以选择利用代理伪装我们的ip进行爬虫请求，但进行爬虫时可能需要很多ip，这时就要求维护一个代理池（池也就是代理队列），可放进代理，也可取出代理。本文中选择的崔庆才老师维护的代理池，是用Flask和Redis维护的一个代理池。设计的基本思路从各大网站获取免费的有用代理用Redis来维护池的队列存储维护池，剔除无用的代理，获得有用的代理Flask是实现代理池的一个...
用python爬虫整理简书作者文章生成pdf
2017年09月01日
_(:⁍」∠)_大家好，新的一天，有没有在简书更文\学编程呀？_(:⁍」∠)_有没有更口水\向往寄几一直在默默点喜欢的作者呀？_(:⁍」∠)_有没有在写作\编程的入门之路上感到万分沮丧，甚至开始怀疑人生呀？_(:⁍」∠)_恩？你问我为什么躺着？emmmm，我想这个角度可能会有惊艳的写作思(nao)路(dong)……开始在简书写作快一个月了，看了不少知名作者分享自己的写作经验，可到了自己要写的时候，...
python，操作pdf文件以及普通文件…
2017年08月22日
首先，需要安装插件：pypdfoutput = PdfFileWriter()#读取pdf文件input1 = PdfFileReader(file('/home/zilu/workspace/liuy/project/caifujutou/static/xml/test.pdf', 'rb'))output.addPage(input1.getPage(0))outputStrem = open...
简单网络爬虫抓取博客文章及思想介绍
2017年08月22日
前面一直强调Python运用到网络爬虫方面很有效,这篇文章也是结合学习的Python视频知识及我研究生数据挖掘方向的知识.从而简介下Python是怎样爬去网络数据的,文章知识很easy,可是也分享给大家,就当简单入门吧!同一时候仅仅分享知识,希望大家不要去做破坏网络的知识或侵犯别人的原创型文章.主要包含: 1.介绍爬取CSDN自己博客文章的简单思想及过程 ...
python入门：爬虫抓取sina博客文章
2017年08月22日
python爬虫给我的感觉就是一个查找功能，网页用html来写的一个脚本，spider就是在这里面抓取你想要的信息。 这一章简单用爬虫实现抓取sina博客上的文章，并把它们的链接保存到本地（入门，没有用到ip代理、cookies、正则表达式等）。 准备材料：Google chrome浏览器、python27，spyder（IDE）1.分析网页url 首先打开韩...
pyodbc的简单使用
2017年08月21日
1、连接数据库1）直接连接数据库和创建一个游标（cursor)cnxn = pyodbc.connect('DRIVER={SQL Server};SERVER=localhost;DATABASE=testdb;UID=me;PWD=pass') cursor = cnxn.cursor()2）使用DSN连接。通常DSN连接并不需要密码，还是需要提供一个PSW的关键字。cnxn = pyodb...
Python爬虫日记三：爬取v2ex数据用csv保存
2017年08月20日
一：前言 v2ex是一个汇集各类奇妙好玩的话题和流行动向的网站，有很多不错的问答。这次爬虫是五一期间做的，贴出来网址https://www.v2ex.com/?tab=all。 目标：爬取全部分类中的文章标题，分类，作者，文章地址这些内容然后以csv格式保存下来。 二：说明 本次使用的是Python3.6版本 作者这个内容是js动态数据 使用xpath Beauti...