浅谈百度抓取淘宝那点事
大家都知道大概是“百度有啊”上线之前，淘宝网为了避免百度恶意抓取，直接屏蔽了百度蜘蛛，也就是当时闹得沸沸扬扬的robots.txt协议 。
就算是现在打开淘宝的robots.txt协议，依然可以看到淘宝还在屏蔽百度的蜘蛛。
可是事实上真的如此么
事实证明淘宝的robots.txt文件根本对百度蜘蛛起不到任何作用。
小弟推测百度之所以这么做是因为百度考虑到战略方向的问题，因为查询了一下发现一些知名店铺在百度的排名都很不错。足以证明百度对淘宝这种店铺的重要性。更加戏曲化的是天猫网（淘宝商城）也是使用robots.txt协议的。同样屏蔽了百度蜘蛛。
还有一种可能就是淘宝网以及天猫网的权重太高了，导致了百度蜘蛛不遵循搜索引擎协议而进行的抓取。不过对于这种事情可以联想到前些日子，一淘网恶意抓取京东商城以及新蛋网等的商品数据，也是不遵循搜索引擎规则的。
直到现在京东商城等也在屏蔽一淘网的蜘蛛，
小编想说的是现在的搜索引擎为了自身利益而不遵循互联网协议的规则，是值得反思的，呼吁这种互联网大公司能在整个IT行业树立标榜。
推荐新闻
更多行业-
浅析索引量、收录量、site结果之间的关系
网站建设公司尚品中国：同样的一本搜索引擎原理书籍，不同的人可能有不同的...
2014-02-26 -
五种常见企业网站制作的功能需求
五种常见企业网站制作的功能需求：Five kinds of commo...
2012-10-29 -
网站建设怎样才能提升网站的设计感？
如何拥有一个特点突出且造型美观的网站？如何使网站的设计感飙升？在数字领...
2020-01-21 -
网站建设有哪些风格？每种风格都有什么特点？
扁平化设计风格是一种简洁、现代的设计风格，它强调的是平面化和简约化。这...
2023-04-17 -
移动端网站建设哪些地方重点？
许多国家的通信服务提供商正在研究5G。作为世界顶尖的科技强国，中国在5...
2020-05-29 -
出海网站建设完成测试阶段攻略：确保高效稳定的用户体验
在全球化市场竞争日益激烈的今天，企业出海已成为趋势，而网站作为企业对外...
2025-03-24
预约专业咨询顾问沟通！
尚品专注高端网站建设，系统平台开发，微信小程序及APP开发服务
免责声明
非常感谢您访问我们的网站。在您使用本网站之前，请您仔细阅读本声明的所有条款。
1、本站部分内容来源自网络，涉及到的部分文章和图片版权属于原作者，本站转载仅供大家学习和交流，切勿用于任何商业活动。
2、本站不承担用户因使用这些资源对自己和他人造成任何形式的损失或伤害。
3、本声明未涉及的问题参见国家有关法律法规，当本声明与国家法律法规冲突时，以国家法律法规为准。
4、如果侵害了您的合法权益，请您及时与我们,我们会在第一时间删除相关内容!
联系方式：010-60259772
电子邮件：394588593@qq.com
