write down,forget
标签 Tag : 日志分析

监控社区网站日志

<Category: Beats, 日志分析> Comments Off on 监控社区网站日志

Elastic中文社区网站一直在粗犷的运行在好友刘刚公司提供的一台Linode服务器上,最近正打算迁移到国内的一台服务器上,所以需要开始准备一些迁移工作。
首先第一件事就是把以往运行的日志都导入进Elasticsearch,我们看看如何做吧。

流程大概就是:
filebeat->elasticsearch(with ingest pipeline)
简单吧。
阅读这篇文章的其余部分 »

本文来自: 监控社区网站日志

[转]使用webalizer来分析nginx日志

<Category: Linux> Comments Off on [转]使用webalizer来分析nginx日志

webalizer是一个高效的、免费的web服务器日志分析程序。其分析结果是HTML文件格式,从而可以很方便的通过web服务器进行浏览。Internet上的很多站点都使用webalizer进行web服务器日志分析。Webalizer具有以下一些特性: 1.是用C写的程序,所以其具有很高的运行效率。在主频为200Mhz的机器上,webalizer每秒钟可以分析10000条记录,所以分析一个40M大小的日志文件只需要15秒。
2.webalizer支持标准的一般日志文件格式(Common Logfile Format);除此之外,也支持几种组合日志格式(Combined Logfile Format)的变种,从而可以统计客户情况以及客户操作系统类型。并且现在webalizer已经可以支持wu-ftpd xferlog日志格式以及squid日志文件格式了。
3.支持命令行配置以及配置文件。
4.可以支持多种语言,也可以自己进行本地化工作。
5.支持多种平台,比如UNIX、linux、NT, OS/2 和 MacOS等

Webalizer配置
webalizer的默认配置文件为/etc/webalizer.conf,当启动Webalizer时没有使用“-f“选项时,Webalizer就会寻找文件/etc/webalizer.conf,也可以使用“-f”来指定配置文件(当服务器有虚拟主机时,就需要配置多份不同的webalizer配置文件,不同的虚拟主机的webalizer使用不同的配置文件。
Webalizer.conf配置文件中需要修改的配置选项如下:
LogFile /data1/logs/access.log
LogType clf
指定的日志类型
用来指示配置文件的路径信息,webalizer会将该日志文件作为输入进行统计分析;
OutputDir /data0/htdocs/blog/logs
用来指示生成的统计报表的保存目录,在前面我们使用alias,使得用户可以使用http://www.medcl.com/logs/来访问统计报表。
HostName www.medcl.com
用来指示主机名,统计报表中会引用该主机名。
其他选项就无需修改,配置文件修改完毕以后,就需要在定时webalizer,每天生成当日的统计分析。
以root身份运行:crontab -e 进入定时运行任务编辑状态,加入如下任务:
00 0 * * * /usr/bin/webalizer
这样的话,系统将会在0点,开始统计当日的访问情况

本文来自: [转]使用webalizer来分析nginx日志