文章内容 2025/4/23 2:42:27,作 者: 黄兵 如何禁止任何爬虫抓取网站 如果我们网站还在开发，互联网已经可以正常访问了，这个时候我们需要禁止任何爬虫抓取网站，以避免网站被搜索引擎列为垃圾网站。我们可以在网站根目录下面新建一个 robots.txt 文件，内容如下：User-agent: * Disallow: / 解释： User-agent: * 表示适用于所有爬虫（如 Googlebot、Bingbot 等）； Disallow: / 表示禁止访问你网站的所有路径。 这样就可以禁止所有爬虫抓取了，等待网站完成之后，将这些内容替换成如下内容：User-agent: * Allow:/这样就可以允许任何爬虫抓取网站了。 上一篇：nginx 默认主页配置 下一篇：Jinja2 模板如何取整 分享到： 发表评论 评论列表 搜索文章 文章分类 随笔 C# 前端技术 Linux 工程建设 ASP.NET MVC 经济管理 Entity Freamework GitHub 网络安全 The Art of SEO 数据库 创新、创意、创业 Angular Python 书籍收集整理 分布式消息队列 运维 安卓开发 Java Crawl IP Range 大数据 图片精选 文章归档 2016年11月 2016年12月 2017年1月 2017年2月 2017年3月 2017年4月 2017年5月 2017年6月 2017年7月 2017年8月 2017年9月 2017年10月 2017年11月 2017年12月 2018年1月 2018年2月 2018年3月 2018年4月 2018年5月 2018年6月 2018年7月 2018年8月 2018年9月 2018年10月 2018年11月 2018年12月 2019年1月 2019年2月 2019年3月 2019年4月 2019年5月 2019年6月 2019年7月 2019年8月 2019年9月 2019年10月 2019年11月 2019年12月 2020年1月 2020年2月 2020年3月 2020年4月 2020年5月 2020年6月 2020年7月 2020年8月 2020年9月 2020年10月 2020年11月 2020年12月 2021年1月 2021年2月 2021年3月 2021年4月 2021年5月 2021年6月 2021年7月 2021年8月 2021年9月 2021年10月 2021年11月 2021年12月 2022年1月 2022年2月 2022年3月 2022年4月 2022年5月 2022年6月 2022年7月 2022年8月 2022年9月 2022年10月 2022年11月 2022年12月 2023年1月 2023年2月 2023年3月 2023年4月 2023年5月 2023年6月 2023年7月 2023年8月 2023年9月 2023年10月 2023年11月 2023年12月 2024年1月 2024年2月 2024年3月 2024年4月 2024年5月 2024年6月 2024年7月 2024年8月 2024年9月 2024年10月 2024年11月 2024年12月 2025年1月 2025年2月 2025年3月 2025年4月 2025年5月
评论列表