Robots.txt 文件 Web 站点结构暴露
[1] robots.txt 文件不应用来保护或隐藏信息
[2] 您应该将敏感的文件和目录移到另一个隔离的子目录，以便将这个目录排除在 Web Robot
搜索之外。
如下列示例所示，将文件移到“folder”之类的非特定目录名称是比较好的解决方案：
New directory structure:
/folder/passwords.txt /folder/sensitive_folder/
New robots.txt: User-agent:
* Disallow: /folder/
[3] 如果您无法更改目录结构，且必须将特定目录排除于 Web Robot 之外，在 robots.txt
文件中，请只用局部名称。
虽然这不是最好的解决方案，但至少它能加大完整目录名称的猜测难度。
例如，如果要排除“sensitive_folder”和
“passwords.txt”，请使用下列名称（假设 Web 根目录中没有起始于相同字符的文件或目录）：
robots.txt: User-agent: *
Disallow: /se Disallow: /pa
发表评论
评论列表