×

网站日志分析教程-SEO之网站日志分析技能

分类:建站推广 编辑:互联网观察 浏览量:151
2020-09-10 10:39:23

什么是日志?

飞机的日志:黑匣子

电脑的日志:电脑管理-事件查看器-应用程序

关于网站的日志分析,这是SEO数据分析重点重要一环,好的SEOer能够通过网站的日志分析出来网站目前是否是健康的
,是否被人攻击。

网站日志分析有什么用?
1、重要的频道(大量流量着陆页面,高转化率,用户直接交易页面等)有更多的爬虫来抓取;
2、在爬虫一定的抓取时间内,尽量少花精力放在一些无用的噪音页面上(重复页面,低质量页面,空内容页面,404页  

 面,不排名页面,低转化页面等);
3、爬虫在抓取页面的时候,尽量增加抓取的有效性,而不是重复抓取几篇相同的页面;
4、爬虫不会被繁杂的URL参数所扰,不会进入无休止的爬虫陷阱中;
5、每个页面的下载时间足够的快,这样,可以让爬虫在时间一定的基础上能够更多的抓取页面;
6、爬虫都能够完整的抓到我们想让他抓的页面,不要抓到我们的隐私页面;
7、日志中不要有太多的404,不要有无理由的跳转,不要有很多的500(服务器错误),这样的情况出现;
8、那些更新频繁但是价值很低的页面不要吸引太多的爬虫精力;
9、我们所有的产品,所有的品类,所有一切有用的东西都要被爬虫完整爬到并且快速遍历;
10、能用碰到真正的爬虫,而不是一些模拟爬虫的机器人;
11、爬虫能够完整的下载到我们的robots.txt;
12、爬虫可以根据我们入口的调整,robots.txt的限制引导,JS的设计等按照我们的要求进行爬取;
13、爬虫越多越好。。。对我们的兴趣越大越好,当然,一切是在我们自身信任度和重要度增加的基础上。

网站日志分析需要从哪些维度进行分析

1、网站日志中的搜索引擎爬虫类型,以目前国内的搜索引擎时常看,从日志中可以看到的爬虫大体有:
百度蜘蛛(包括PC移动及渲染蜘蛛等,具体spider名称不做阐述,站长平台均有详细蜘蛛讲解);
搜狗蜘蛛、360蜘蛛、神马蜘蛛、头条蜘蛛(具体spider名称不做阐述,站长平台均有详细蜘蛛讲解);
各蜘蛛的抓取占比应与目前搜索引擎所占市场份额相差不大;需注意的是神马为移动端站长平台;

2、抓取链接
分析各个爬虫抓取链接的结构类型,例如目录页面还是详情页或者serch页面JS链接等;

分析各个类型抓取占比是否正常;
分析爬虫抓取链接的时间规律,比如百度,在哪个时间端的来访抓取量最大,抓取时间线可了解;
分析访问链接与抓取链接的关联;

3、抓取量级
计算总抓取量级,各个爬虫抓取量级、各个链接类型抓取量级,是否在正常范围;

4、状态码
200、301、302、304、404、403、500、502等(根据抓取链接状态码分析网站是否正常等)

5、IP是否对应
是否存在伪爬虫IP段、是否存在采集、扫描、攻击等行为,将异常IP段及爬虫进行封禁;

6、新增抓取量
分析近期站内新生成链接的抓取占比、抓取次数等

常用网站日志分析工具

1、天眼日志分析系统
软件介绍:
天眼日志分析系统是中国推广学院推出的一套针对SEO日志分析软件,支持windows和linux等操作系统的日志分析。包

括对百度、谷歌、360和搜狗等搜索引擎蜘蛛爬行情况分析。另外软件独创网站安全分析,和IP黑名单功能。软件兼容

性强可以在本机和服务器系统直接运行。是目前国内出色的SEO日志分析系统。

2、爱站日志分析

软件介绍:
爱站日志分析工具是一款由爱站打造的日志分析软件,能帮助站长进行日志分析工作,即时监控蜘蛛访问状况,发现问

题,及时处理。此工具可以自动识别IIS、Apache、Nginx日志格式,支持直接拖拽日志一个或多个文件(夹)至窗口进

行分析,每一项数据都分别以“数据显示”和“图形显示”两种不同方式向用户展示数据结果。


爱站SEO工具包之网站日志分析工具使用方法
http://gongju.aizhan.com/course/32.html

网站日志分析工具视频教程 - 爱站seo工具包
http://gongju.aizhan.com/jc_7.html


声明:免责声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,也不承认相关法律责任。如果您发现本社区中有涉嫌抄袭的内容,请发

送邮件至:operations@xinnet.com进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。本站原创内容未经允许不得转载,或转载时

需注明出处:新网idc知识百科

免费咨询获取折扣