松丫网 - 人生感悟句子_生活感悟文章_励志文章精选

揭秘:淘宝为什么禁止搜索引擎抓取?

发布时间:2021-03-14 09:22   文章来源:松丫网 作者:溪门飞雪博客 围观:

首先,可能很多小白并不懂什么是“禁止搜索引擎抓取”,那么,我们首先在PC端打开浏览器,选择百度搜索,在搜索框中输入“淘宝”,如今已经是2019年,我们看到淘宝官网首页依然还在显示“由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述”。而在之前啊,官网首页也会显示这样的字样。
这就是禁止搜索引擎抓取。做网站的人都知道,可以在网站根目录中建一个robots.txt文件,在文件中可以禁止搜索引擎抓取。搜索引擎的蜘蛛去到一个网站,首先必须查看该文件,确保有权限,才能进入,否则不允许进入。
那么,有人就会说了,不就是一个文件吗?能不能跳过去呢?
当然,跳过去是可以的,但是,你得考虑好网站主会不会将你告上法庭,如果对方有足够的实力,说不定你的“轻轻一跳”,从此,就结束了做搜索引擎的生涯。
那么,问题来了,淘宝为什么要禁止搜索引擎抓取,这里我们说说国内最大的搜索引擎——百度。
揭秘:淘宝为什么禁止搜索引擎抓取?
1、百度损害了淘宝的利益
 
我们知道,不论淘宝还是百度,本质上都是公司,都是以营利为目的。作为公司,他一定会将市场利益最大化,力求将自身利益全部据为己有。在这些利益当中,几十万上百万的利益简直是微乎其微,如果淘宝开放百度蜘蛛抓取,百度夺走的就不是几十万百万那么简单了,可能得以十亿为单位。
我们知道,一直以来,搜索推广与排名机制都是巨头们的首要盈利方式,例如,百度竞价系统和淘宝直通车(广义上甚至还可以包涵钻展等等),这两者其实是一种东西,都可以归属于SEM。但是由于针对的用户不同,在创立之初,并没有很大的冲突。
随着百度和淘宝的发展,以及中国电子商务时代的来临,用户搜索和网购习惯的逐渐成型,二者的用户群开始大量重叠,造成了现在这种情况。
对此,很多人可能想不明白,我们假设淘宝将内页对百度搜索引擎进行了开放。那么,百度就会大量抓取淘宝内页,那么,我们就能想到:淘宝店主商家(淘宝内页基本都是店主商家)就能更多地通过搜索引擎实现用户流入,甚至会有很多商家选择百度竞价。如此一来,淘宝直通车,乃至钻展的收入就会巨额减少。这是淘宝不可能允许出现的。
在目前来说,能从搜索引擎进入淘宝的用户流量基本都是淘宝客所为,这也是淘宝做出的补充措施。如果淘宝客这条路也被掐断,那么,淘宝很多小商户真的就很难做了。长此以往,淘宝的店主商家只会越来越少。因此,淘宝对此的补充其实是非常高明的,只是分了很小一部分利益出来,却能让平台长远旺盛地发展下去。
淘宝禁止蜘蛛抓取
2、百度有啊激怒了淘宝
 
在2008年,百度凭借搜索巨头的流量优势,发布了一款淘宝竞品——百度有啊。这款产品和淘宝非常相似,然而,2011年,仅仅3年后百度就宣布关停了这项业务。
据很多人说,正是百度的这一产品激怒了淘宝。
我们仔细一想,不无道理,假设百度做成功了,那么,现在淘宝还会存在吗?可能早就已经消失在市场的洪流中了。因此,百度这一做法严重威胁到了淘宝。那么,淘宝禁止百度抓取,自然是为了报复百度。
我们换成360搜索引擎,我们发现,淘宝并没有禁止360蜘蛛抓取,可以猜想,淘宝只是单单禁止了百度。这肯定就是为了报复之前百度的这一行为。
 
其实,在流量为王的今天,能抓住用户,就能得天下。百度是国内最大的搜索引擎,如果淘宝对百度蜘蛛开放,百度可不比360,绝对要蚕食掉淘宝相当大的推广收入。
当然了,巨头之间的战争,不论哪一方胜利,伤害的都是第三方——消费者。
假如,淘宝完全杜绝了来自搜索引擎的用户流量,即,关闭了淘宝客系统,对所有搜索引擎禁止抓取、那么,淘宝商家店主就只能支付高昂的“车费”上直通车,上钻展。因为支出的成本大了,就只能提高商品价格了呀,这最终还不是分摊到了消费者头上。
因此,做电商的商家们就得时刻做好应对,现在最流行的“圈粉”,大到明星大牌,小到自媒体人,都在想方设法圈粉,为的就是能够在流量上夺得更多的主动权,而不受某些方面的约束。这也一定是所有网络电商未来的发展方向。
.
分享不易,打赏个吧
既然来了留下你脍炙人口的金句吧(Now that you are here, please leave your popular sayings)
  • 全部评论(0
    还没有评论,快来抢沙发吧!
CopyRight © 2011-2016 All Rights Reserved 本站内容均为溪门飞雪原创 联系QQ:2093381517 微信:Bluesky838