“2017年9月”存档文章有139 篇
自动爬取SF文章并推荐到掘金--Puppeteer再探
2017/9/1 17:42:43
看过上篇的同学,应该都会使用Puppeteer的高级爬虫功能了,附上姐妹篇链接:爬取并生成《ES6标准入门》PDF–Puppeteer初探除了爬虫之外,也可以使用Puppeteer完成页面上任意操作,即: 可以用来做UI自动化测试开门见山,今天的目标是,爬取SF的热门文章,自动推荐到掘金!!!简要提下Puppeteer的应用场景屏幕快照,打印PDF高级爬虫(有别于传统爬虫.使用Puppeteer可...
反爬虫
2017/9/1 17:37:25
在爬虫时,某些网站会有封ip的现象,所以选择利用代理伪装我们的ip进行爬虫请求,但进行爬虫时可能需要很多ip,这时就要求维护一个代理池(池也就是代理队列),可放进代理,也可取出代理。本文中选择的崔庆才老师维护的代理池,是用Flask和Redis维护的一个代理池。设计的基本思路从各大网站获取免费的有用代理用Redis来维护池的队列存储维护池,剔除无用的代理,获得有用的代理Flask是实现代理池的一个...
用python爬虫整理简书作者文章生成pdf
2017/9/1 17:31:19
_(:⁍」∠)_大家好,新的一天,有没有在简书更文\学编程呀?_(:⁍」∠)_有没有更口水\向往寄几一直在默默点喜欢的作者呀?_(:⁍」∠)_有没有在写作\编程的入门之路上感到万分沮丧,甚至开始怀疑人生呀?_(:⁍」∠)_恩?你问我为什么躺着?emmmm,我想这个角度可能会有惊艳的写作思(nao)路(dong)……开始在简书写作快一个月了,看了不少知名作者分享自己的写作经验,可到了自己要写的时候,...
location.search在客户端获取Url参数的方法
2017/9/1 10:55:06
location.search是从当前URL的?号开始的字符串如:http://www.baidu.com/s?wd=baidu&cl=3它的search就是?wd=baidu&cl=3 如: location.search.substr(1).split("&")[0]可以返回第一个参数:wd=baidu如: location.search.split('?')[1]可以返回所有参数:wd=ba...
C# 加密 解密
2017/9/1 9:49:34
////// 加密////////////private String Encrypt(String strText, String strEncrKey){ Byte[] byKey = { }; Byte[] IV = { 0x12, 0x34, 0x56, 0x78, 0x90, 0xAB, 0xCD, 0xEF }; try { byKey = Sys...
能和LoadRunner匹敌的VS2010/2012Web负载测试
2017/9/1 9:43:32
VS自带的Web负载测试真的很大程度上能和专业的loadrunner媲美(只是Web方面),上个report图吧(如何实现,请往下拉):看,能探测一堆的计数器(上面红色打叉的是代表超过了基线值)、还能跟踪sql的执行,下面讲讲如何实现的。样板代码下载 大致过程分成如下:新建测试工程、添加Web性能测试(和实现)、 添加负载测试(和实现,负载测试实际上是不断的调用Web性能测试)、运行负载测试看结果...