禁止搜索抓WordPress

发布时间:2021-07-27 11:40 来源: 阅读:0 作者: 栏目: 互联网

阻止搜索引擎抓取,索引你的网站


有一种方法是通过WordPress自带的功能来阻止网站被抓去。打开主菜单“设置”目录下的“阅读”选项,会出现以下界面,你会发现在最下方有一个对搜索引擎可见性的选项,需要我们做的就是点击“建议搜索引擎不索引本站点”选项旁边的方框进行勾选。最后保存更改。

这时WordPress将自动地把下面的代码加到网站源代码的header中:

<meta name="robots" content="noindex,follow" />
同时还会创建网站的robots.TXT文件,将以下代码写入该文件。

1 User-agent: *
2 Disallow: /

这个代码的作用是阻止网络爬虫对你的网页进行索引。但是还取决于搜索引擎是否接受这个指令。所以,虽然大多数搜索引擎会尊重这个请求,但还是不能确保一些网页或随机图片不被索引。


免责声明:本站发布的内容(图片、视频和文字)以原创、来自互联网转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系QQ:712375056 进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。