“2022年4月”存档文章有33 篇
Google reCAPTCHA 异步加载的方式总结
2022/4/25 10:19:47
Google reCAPTCHA 作为一个可保护您的网站免受垃圾邮件和滥用。它使用先进的风险分析技术来区分人类和机器人。但是他的 js 库在加载的时候也是特别大，如果不适用异步加载，将严重影响网站加载速度，给用户带来不好的体验。我们看看如何使 Google reCAPTCHA 异步加载，下面是前端代码：<script src="https://recaptcha.net/recaptcha/api...
你需要知道的 10 大互联网爬虫
2022/4/24 18:14:05
机器人和僵尸网络通常与网络犯罪分子窃取数据、身份、信用卡号码和更糟糕的情况有关。但是，机器人也可以有好的目的。将好的机器人与坏的机器人区分开来，也可以在保护你公司的网站和确保你的网站获得应有的互联网流量方面发挥很大作用。大多数好的机器人基本上都是世界上最大的网站派出的爬虫，为其搜索引擎和社交媒体平台索引内容。你想让这些机器人访问你。它们会给你带来更多的访问量！ 如果我们阻止这些好的爬虫抓取我们的网...
腾讯云无法访问 gihub.com 解决方案
2022/4/24 10:59:17
昨天（2022年4月23日）本地写好的代码，登录腾讯云服务器拉取，结果如下图所示：ssh: connect to host github.com port 22: Connection timed out fatal: Could not read from remote repository. Please make sure you have the correct access ri...
临时记事本
2022/4/24 9:39:07
这篇文章作为零时记事本，大家看到不要惊讶😮| 爬虫名称 | 被抓取网站 % | 爬虫类别 || :--- | :----: | ---: || Googlebot | 96% | 搜索引擎爬虫 || Baidu Spider | 89% | 搜索引擎爬虫 || MSN Bot/Bing...
反爬虫的重点：识别爬虫
2022/4/22 22:24:40
我们在网站运营的时候，最大的问题就是：我们自己花费几个小时甚至是几天辛辛苦苦创作作的内容，被爬虫只需要 1s 就抓去了。为了保卫我们创作的成果，也为了网站的稳定运行，我们需要对爬虫说：No，我们在反爬虫的过程中最重要的就是如何识别爬虫。为了识别识别爬虫，常用的有以下几个方法：真人检测所谓的真人检测也就是出现一个验证码，让你输入验证码的内容，这些验证码对于人类来说很容易识别，但是对于机器来说却很难识...
如何屏蔽 PetalBot
2022/4/22 22:21:02
什么是 PetalBot？PetalBot 是 Petal 搜索引擎的自动程序。PetalBot 的功能是同时访问PC 和移动网站，并建立索引数据库，使用户可以在Petal 搜索引擎中搜索您网站的内容。您可以通过分析 User-agent 字段来识别从 Petal 爬虫。你为什么要阻止一些爬虫机器人？知名搜索引擎的爬虫机器人和蜘蛛机器人的活动通常不影响网站负载，也不影响网站的工作速度。但大部分爬虫...