Google Search Console 警告“已编入索引，尽管遭到 robots.txt 屏蔽” 的处理方案

在《WordPress 屏蔽恶意搜索，防止被搜索引擎收录恶意搜索结果》中，倡萌提到了网站被恶意搜索攻击，已经给出了一些处理方案，但是最近查看 Google Search Console 的覆盖率，看到了“已编入索引，尽管遭到 robots.txt 屏蔽”的警告，一看具体的网址，几万条全部都是恶意搜索结果。

查看了google官方文档《已编入索引，但被 robots.txt 屏蔽了》，了解到通过 robots.txt 并不能阻止Google索引恶意搜索结果：

而是需要通过使用“noindex”阻止搜索引擎编入索引：

重要提示：为让 noindex 指令生效，网页不得被 robots.txt 文件屏蔽，并且必须能被抓取工具访问。如果该网页被 robots.txt 文件屏蔽或抓取工具无法访问该网页，那么抓取工具将永远无法看到 noindex 指令，因此该网页可能仍会显示在搜索结果中，例如，如果有其他网页链接到该网页的话。

我们不能在 robots.txt 屏蔽google蜘蛛访问搜索结果网址，但是倡萌并不清楚百度等其他搜索引擎是否会遵循 noindex 指令，所以我们在 robots.txt 中允许谷歌蜘蛛抓取搜索结果页面，但是禁止其他搜索引擎抓取。