如何屏蔽 PetalBot
2022年04月22日 ,作者: 黄兵
什么是 PetalBot？PetalBot 是 Petal 搜索引擎的自动程序。PetalBot 的功能是同时访问PC 和移动网站，并建立索引数据库，使用户可以在Petal 搜索引擎中搜索您网站的内容。您可以通过分析 User-agent 字段来识别从 Petal 爬虫。你为什么要阻止一些爬虫机器人？知名搜索引擎的爬虫机器人和蜘蛛机器人的活动通常不影响网站负载，也不影响网站的工作速度。但大部分爬虫...
Flask 如何生成站点地图（sitemap）
2022年04月21日 ,作者: 黄兵
最近在使用 Flask 生成站点地图，Flask 有一个可以生成站点地图的扩展，是 Flask-Sitemap，我测试了一下并不是很好用，所以没有采用。我们看看站点地图的作用：站点地图是网站开发人员帮助网站搜索结果排名最容易被忽视的工具之一，而以正确的方式创建网站地图将提高您网站的性能。如果您的站点设计正确，您只需几行代码即可生成完整的站点地图。更好的是，当您添加新内容时，它会自动添加到您的站点地...
Flask 如何发送 xml 文档
2022年04月21日 ,作者: 黄兵
最近使用 Flask 生成站点地图，站点地图一般是 xml 文件，但是使用模板生成的发送的时候却是 html 页面，为了解决这个问题，使用 flask Response 来定义发送的文件类型，示例代码如下：from flask import render_template, current_app, Response @main.route('/sitemap.xml') @lru_cac...
Javascript string false boolean
2022年04月20日 ,作者: 黄兵
最近遇到一个类型为 string 的字符串，值为：false，如果直接判断，可能我们的想法相去甚远。所以需要将 string 类型的 false 转换成 boolean 类型。最佳写法：var isTrueSet = (myValue === 'true');上面使用了恒等运算符 ( ===)，当比较变量具有不同类型时，它不会进行任何隐式类型转换。参考资料：1、How can I convert ...
zabbix-server.service: Can't open PID file Operation not permitted
2022年04月20日 ,作者: 黄兵
刚才重启了服务器之后，服务器上运行有 Zabbix-server，重启之后 前端显示 zabbix-server 无法运行，截图如下：之后我查看了一下 zabbix-server 的服务状态，使用如下命令：sudo systemctl status zabbix-server.service结果出现了如下提示：zabbix-server.service: Can't open PID file /...
新项目 webpack 打包基本步骤
2022年04月19日 ,作者: 黄兵
在使用 Flask 开发的应用，由于 js、css、image 文件分散各处，同时页面加载的时候也需要一个个加载，不利于 SEO，同时会拖慢页面加载速度，所以 webpack 应运而生，使用 webpack 可以将这些文件打包，下面是官方的原理图：由于官方方方面面都讲了，导致我们很难知道一个新项目我们应该如何使用 webpack，应该怎么设置，我面我根据我的总结，写下了这篇总结性的文章，文章中难免...
Warning: the ECDSA host key for '[]:22' differs from the key for the IP address
2022年04月19日 ,作者: 黄兵
最近在在使用 scp 服务文件的时候，出现了如下警告⚠：Warning: the ECDSA host key for '[domain]:22' differs from the key for the IP address '[1.1.1.1]:22' Offending key for IP in /root/.ssh/known_hosts:1 Matching host key in...
How crawler data is collected and organized
2022年04月18日 ,作者: 黄兵
Some users have been curious about how the crawler data on the crawler-aware website is organized, and today we will be more than curious to reveal how the crawler data is collected and organized.The ...