1. 企司令SEO首页
  2. SEO技巧

如何查看百度蜘蛛抓取了哪部分?要是爬取存在页面,该怎么优化?

Q:网站日志,如何查看百度蜘蛛抓取了哪部分,抓取成功没,蜘蛛什么时候来访问网站

20200323035234632020032303523884

Aloghao,可以看蜘蛛的明细,爱站工具包可以看所有的搜索引擎,也有工具是有loghao跟爱站功能一块的,不过页面不好看

我都爱站工具包跟loghao同步使用,当蜘蛛状态码出现404,我才会用loghao找404的ip,其他时候意义也不大。然后本地win+r 输入cmd 出现窗口后 输入nslookup IP地址来判定是不是真蜘蛛

20200323035254842020032303525786

Q:百度蜘蛛每天都是爬已经被收录过的页面,请问是什么原因啊。

我的站点www.xinshouyou.com,目前正在游戏中心栏目做手游下载,我看了几天的百度蜘蛛爬行日志,每天蜘蛛都会爬已经被收录过的页面,其它新添加的页面都不爬取,这些收录的页面都是通过熊掌号提交的,有大佬帮忙解释下吗

A1、网站URL规划问题

2、域名/shouyou/lb/all   ,去掉all=== 域名/shouyou/lb/就是404页面,如果你是蜘蛛,爬到这里返回404是否还会爬行

3、合理规划页面URL,缩短或者都让每个URL都能访问

20200324092327952020032409233213

Q:百度蜘蛛每天抓取很多网站新闻目录里不存在的链接,什么原因呢?

网站日志里看到从这个月12号开始百度蜘蛛每天抓取很多网站新闻目录里不存在的链接,空链接,什么原因呢?大家帮忙分析下。

20200313101806542020031310181273

A极大可能是有网站扫描器在扫描你的网站,并不是真的百度蜘蛛在爬取。

1、使用Xenu或者尖叫青蛙软件,扫一下全站,看看是否能抓取到死链接或者不存在的页面;

2、一般百度蜘蛛都是只爬行,不会凭空抓取不存在的URL,看看自身URL规划问题,及网站是否有这类URL;

3、如果某些栏目不存在内容可Robots下;

4、下载网站日志,多用几个工具去分析看一下;

5、看一下这个死链是怎么产生的。

Q:百度蜘蛛为什么一直抓我的404页面呢?这么设置有错吗?

1、第一张图,是同一篇文章被百度蜘蛛爬了好多次,这是因为什么?有什么影响,差不多快10次;

2020040110184042

2、第二张图,百度蜘蛛直接来抓我的404.html页面,这是为什么,有什么影响?

2020040110184874

3、第三张图,我的404页面,是动态设计,最新的文章也会同步到404.html这个页面,若用户访问文章出现404时,假如访问了/123,链接并不存在,我做了302跳转到404.html页面,请问这样处理会有什么问题吗?

2020040110185957

A404页面一般静态要好,网站无法打开直接返回404,这样搜索引擎蜘蛛爬行要靠谱些,通过302来临时跳转404这样的操作不太好,302不建议常用。

Q:这是百度蜘蛛会用同一ip爬取大量文章吗? 这是什么情况呀?

2020040306100286

这是我的网站www.wuaizq.com   昨天晚上看到的,这是什么情况呀

A可能是假的

检测方法: cmd  输入nslookup ip地址

20200403061018202020040306102211

发布者:SEO运营助手,转载请注明出处:https://www.m40.cn/blog/youhuawangzhanruhechakanbaiduzhizhuzhuaqulenabufenyaoshipaqucunzaiyemiangaizenmean/

发表评论

电子邮件地址不会被公开。 必填项已用*标注

联系我们

15258683385

在线咨询:点击这里给我发消息

邮件:364603780@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code