文章内容
2018/3/4 17:50:50,作 者: 黄兵
如何解决百度爬虫无法抓取https的问题
响应百度的号召，全站做了https，之后百度一直无法抓取我的网站，提示说：超时。
最近买了一个Note 8手机，使用的是Chrome手机浏览器。之后提示说：找不到证书
之后在网上找了一下解决方案，最终解决了，之后顺便也把百度无法抓取https的问题给解决了。
一旦服务器重新configuration了encryption策略，并且IIS SSL设置已被设置为忽略客户端证书，“ 找不到证书 ”错误将被解决。
再说说是如何解决百度无法抓取https的，还是更改那里的设置，如下图所示：
下面或解释一下上面各个选项的意思：
1、忽略：忽略的意思是站点不会检查客户端的证书有没有，直接忽略。
2、接受：接受的意思是站点会检查客户端有没有证书，证书有没有效；如果客户端的检查结果为没有，那么站点就忽略客户端证书；如果检查为结果为有，那么站点服务器和客户端将使用这张客户端证书进行通讯。
3、必需：必须要检查客户端有没有证书，如果没有访问任然可以，但是百度爬虫无法抓取。
可以看到问题就出在这个上面，默认的是必需，将必需改为忽略，在测试百度爬虫，成功了，截图如下：
参考资料：
如何解决“没有find证书 – Chrome应用已申请证书”Android / Google Chrome问题
IIS SSL客户端证书（忽略/接受/必须）之一——服务器证书申请
黄兵个人博客原创。
转载请注明出处：黄兵个人博客 - 如何解决百度爬虫无法抓取https的问题
评论列表