百度搜索站长服务平台:巧用robots防止蜘蛛黑洞

2021-03-20 02:31 admin

百度搜索站长服务平台:巧用robots防止蜘蛛黑洞


短视頻,自新闻媒体,达人种草1站服务

针对百度搜索检索模块来讲,蜘蛛黑洞特指网站根据极低的成本费生产制造出很多主要参数过量,及內容雷同但实际主要参数不一样的动态性URL ,就像1个无尽循环系统的 黑洞 将spider困住,Baiduspider消耗了很多資源抓取的确是失效网页页面。

例如许多网站都有挑选作用,根据挑选作用造成的网页页面常常会被检索模块很多抓取,而这在其中很大1一部分查找使用价值不高,如 500⑴000之间价钱的租房 ,最先网站(包含实际中)上基础沒有有关資源,其次站内客户和检索模块客户都沒有这类查找习惯性。这类网页页面被检索模块很多抓取,只能是占有网站珍贵的抓取配额。那末该怎样防止这类状况呢?

大家以北京某团购网站为例,看看该网站是怎样运用robots恰当防止这类蜘蛛黑洞的:

针对一般的挑选結果页,该网站挑选应用静态数据连接,如:

一样是标准挑选結果页,当客户挑选不一样排列标准后,会转化成带有不一样主要参数的动态性连接,并且即便是同1种排列标准(如:全是按销量降序排序),转化成的主要参数也全是不一样的。如:

针对该团购网来讲,只让检索模块抓取挑选結果页便可以了,而各种各样带主要参数的結果排列网页页面则根据robots标准回绝出示给检索模块。

robots.txt的文档用法中有这样1条标准:Disallow: /*?* ,即严禁检索模块浏览网站中全部的动态性网页页面。该网站正是根据这类方法,对Baiduspider优先选择展现高品质网页页面、屏蔽了低质量量网页页面,为Baiduspider出示了更友善的网站构造,防止了黑洞的产生。

有关內容探讨请移步【学校同学汇】《巧用robots防止蜘蛛黑洞》探讨帖