利用百度蜘蛛referer找到报错页面入口 | 绵竹网络公司
什么是百度蜘蛛的referer
百度蜘蛛的referer,是指当百度蜘蛛抓取某一个URL的时候,在HTTP头中带的Referer字段。请注意,这个定义和百度近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求,百度而去除的是用户发起的。如果百度蜘蛛抓取百度首页的logo,会发起这样的请求:
上面Referer字段很明确的表示了他是从www.baidu.com这个页面上发现并抓取了www.baidu.com/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到相应的记录。目前发现只有当百度抓取一个网页的同时,又抓取了网页中的:img、js和css才会带上referer字段。这部分额外的抓取量,应该不会占用百度分配的抓取配额,属于“买1送1”。
对于站长的意义
如果你发现有一批URL(于img,js,css)报错(4xx或者5xx),但是一直找不到入口在哪,也是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。
举个例子
比如我们的seo日志分析系统中可以看到,符合下面这种URL Pattern的路径每天有6万到10万的抓取而且全部报404。
从发现问题至今过了1个月,查遍整个网站我也没找到入口。偶然仔细查了一下日志,想起了百度蜘蛛的referer,马上能定位问题了。这些404的URL来自于一套没人维护也没人关注的页面(往往是这样)。收录流量都不错。由于近公司图片系统更新,图片的URL全部更改了,但这套页面并没有跟着更新。
如果站点没有记录referer怎么办 iis请在这里勾选“cs(Referer)”:
转自:百度站长平台刘明
推荐阅读
利用百度蜘蛛referer找到报错页面入口 | 绵竹网络公司 https://cdnanqi.cn/mianzhu/1144.html
- 做网站SEO优化为什么要先了解网站?_宜宾seo优化
- seo信息社交网络是否会改变网站seo优化,是否继续前往外部网站安全性优化代码的seo三大标签信息-广汉SEO优化
- SEO站外优化推广技巧(SEM推广对SEO优化的影响有哪些)
- 为什么要做网站建设,做网站建设能给我们带来什么好处!_成都做网站模板仿站
- 网站seo优化使用户可以获得更准确、更有效的解决方案-江油SEO优化
- 网站文章更新要避免什么-成都seo优化-成都网站优化
- 如何快速提高网站收录 提升网站快速收录的解决方法-成都seo优化-成都网站优化
- 网站SEO推广优化公司
- 为什么企业必须为SEO优化做准备-广安SEO优化
- 竞价托管公司怎么优化质量度_成都竞价托管