百度爬虫未抓取新内容页面——探究百度爬虫是否访问过个人网站的方法

如何辨识百度爬虫是否访问过个人网站

通过查阅网站日志，能够掌握搜索引擎爬虫的访问动态。

通过FTP登录网站根目录。可以观察到名为log的文件夹，此处即为日志存放之地。可将其压缩（日志文件通常较大）后下载至本地电脑进行解压，再打开日志文件。

1、网站新上线，关注搜索引擎爬虫的抓取状况；

若网站提交给搜索引擎2日后，发现日志中爬虫数量较多，且均返回200状态码，则表明网站运行正常。

只是Google的展示速度较快，而百度则需要大约20天（经验平均值）才能展示出来。

2、网站出现异常，对比日志中爬虫的行为变化；

将正常增长时期的日志与当前异常时期的日志进行对比分析。若无异常，则可能是搜索引擎展示数据库出现问题。

若爬虫抓取量明显减少，是否突然大幅减少。

若日志保持不变，则认为是搜索引擎展示问题。

3、处理网站被封禁问题时，关注日志情况。

网站被封禁时，日志中通常会有百度爬虫，但数量很少，且通常只访问robots.txt文件和首页。

在站长检查并修改所有不符合搜索引擎优化的行为后，再将网站提交给百度，之后的2天内若日志显示百度爬虫很少访问，且通常只访问robots.txt文件和首页，若这种情况持续1个月，可以考虑放弃该域名。

若爬虫数量明显增加，且返回200状态码居多，则被百度重新收录的希望很大，只是时间问题，需要站长更加努力。

百度爬虫访问网站多少次算正常

只有网站内容持续进行原创更新，百度爬虫才会随时光顾，这种习惯并非短时间内可以养成，需要长期坚持不懈，保持三分之一的内容原创，或者用自己的语言重新组织编写其他网站的新闻也可以，只要爬虫觉得内容新鲜有用，自然会频繁访问你的网站，百度爬虫访问10次很少，因此排名和快照不发生变化也是正常的。我的门户网站百度爬虫每日光临，百度快照每日更新，一年来的坚持确实不易。