蜘蛛陷阱是什么，网站SEO如何避免蜘蛛陷阱

蜘蛛陷阱是对搜索引擎来说的，尽管有些网站看上去高大上，很酷，但这可能会给搜索蜘蛛设置了大量的障碍，也就是

今天给大家说的蜘蛛陷阱。

我们看看百度百科对蜘蛛陷阱的定义：“蜘蛛陷阱”是阻止蜘蛛程序爬行网站的障碍物，通常是那些显示网页的技术方

法，很多浏览器在设计的时候考虑过这些因素，所以可能网页界面看起来非常正常，但这些蜘蛛陷阱会对蜘蛛程序造成

障碍，如果消除这些蜘蛛陷阱，可以使蜘蛛程序收录更多的网页。

设想一下如果你去一个地方用百度地图导航，结果地图把你带入一条荒无人烟的臭水沟里，你会怎么想。其实搜索引擎

蜘蛛和人一样，如果让蜘蛛掉进了你设置的陷阱里，那么：蜘蛛很生气，后果很严重了！

一旦把蜘蛛惹急了，不是对你的网站进行降权就是K站，所以说蜘蛛大哥也不是好惹的。我们做SEO的还要心存敬畏之心

。

那么哪些是蜘蛛陷阱，如何预防？

1、各种跳转

常见的网站跳转方法例如：JS跳转、Flash跳转、302跳转等，除301跳转除外，因为它是搜索引擎推荐和认可的跳转形式，它主要用在网站更改，利用301跳转将的权重全部继承给。除了301转向很多的占用其他转向欺骗用户和搜索引擎，也是heimao的一种手段，所以建议大家不要使用，以免网站被K。除301之外的各种跳转对搜索引擎来说都是不利的，不利于蜘蛛的爬取，给蜘蛛制造了所谓的陷阱。



2、复杂的框架结构

框架结构就目前来说算的上是界的老话题了，现如今建站愈来愈简单智能的时代，框架结构逐渐落伍并且非常不利于蜘蛛爬取网站的内容，所以框架结构是被逼成了蜘蛛陷阱，老实讲这不能怪它，可是也不得不怪它，这同时也验证了一句话：落后就要挨打。

3、动态URL

我们知道，搜索引擎比较喜欢静态网址，所以很多的动态网站都会使用伪静态设置。动态URL通俗的解释就是网站链接中带有各种参数、等号、问号或者其它符号而长度还很长的链接，恰巧的是蜘蛛也喜欢这种链接，其实最根本的原因还是动态URL不利于蜘蛛的爬取。

4、JS脚本

对于这一点可能存在一定的争议。JS在网站建设中又离不开

，因为它能为网站实现很多功能和特效，但是它不利于蜘蛛爬取内容，不过它也可以用在网站的其他方面对咱们做SEO的还是有所帮助的，比如为了避免网站权重的分散，我们就可以用JS脚本阻止蜘蛛对该页面的抓取，而就这一点来说它又是网站SEO的好工具，所以对于JS脚本这一点还是自己掌握分寸吧！

5、页面是frame框架结构

网站使用的frame框架结构，这种结构虽然代码精简，而且很方便更新维护网站，但是，这种结构蜘蛛基本上抓不到这里面的内容，特别是里面有那些重要内容的时候，那更是对优化很不利的。

6、必须要登陆才能访问

有些企业站和个人站的设置一定要注册登录后才能看到相关的文章内容。这是绝对不可取的，这相当于把蜘蛛关在大门外了，毕竟搜索引擎蜘蛛不是人，没有那么智能，他不会自动填写用户名、密码、验证码，这种情况的页面设置要特别是注意。严重的时候，蜘蛛不会光顾你的网站。

7、robots.txt书写错误
robots文件是蜘蛛访问网站的第一个文件，这个文件告诉蜘蛛那些是可以抓取的，那些是不能抓的，robots文件编写会有一定的格式要求，如果编写错误，也会禁止蜘蛛访问和抓取。


8、Flash
Flash基本上被淘汰了，但有的网站页面使用Flash视觉效果是很正常的，比如用Flash做的Logo、广告、图表等，这些对搜索引擎抓取和收录是没有问题的，很多网站的首页是一个大的Flash文件，这种就叫蜘蛛陷阱，我们知道蜘蛛喜欢的是文字，虽然大的Flash效果看上去很漂亮，但搜索引擎无法读取任何内容，所以不提倡这种Flash做首页图片。

9、url层级太深
有的网页没有入口，而且距离网站的首页又很远，这种页面就相对较难被蜘蛛爬行到，严格意义上来说这不属于陷阱，但我们拿来说一下吧，毕竟也影响蜘蛛的抓取。内页和首页的点击距离越近，越容易得到更多的首页权重传递。良好的网站结构可以让网站更多的页面被收录。

10、强制使用cookies，
对于搜索引擎来说是相当于直接禁用了cookies的，而有些网站为了实现某些功能会采取强制cookies，比如说跟踪用户访问路径，记住用户信息，甚至是盗取用户隐私等，如果用户在访问这类站点时没有启用cookies，所显示的页面就会不正常，所以对于蜘蛛来讲同样的网页无法正常访问。


和各种各样的作弊手法，比如说隐藏文字，隐藏链接等，采用伪装网页在判断来访者是蜘蛛还

是普通浏览器者而显示不同的网页，使用默认错误的404页面等，同样会给蜘蛛带来爬行障碍。

综上所述，是小编对蜘蛛陷阱的总结，可能不仅全面，之后随着网络技术的发展，还会出现其他的蜘蛛陷阱，对于站长来说蜘蛛就是我们的朋友，要善待它，他会给我们好的回报，如果我们虐待他，那么我们的网站优化之路就注定坎坷。
防范蜘蛛陷阱是网络优化之必要条件。

来源链接：https://www.xinnet.com/knowledge/1603260603.html

本站声明:网站内容来源于网络,如有侵权,请联系我们,我们将及时处理。