write down,forget

监控社区网站日志

<Category: Beats, 日志分析> 查看评论

Elastic中文社区网站一直在粗犷的运行在好友刘刚公司提供的一台Linode服务器上,最近正打算迁移到国内的一台服务器上,所以需要开始准备一些迁移工作。
首先第一件事就是把以往运行的日志都导入进Elasticsearch,我们看看如何做吧。

流程大概就是:
filebeat->elasticsearch(with ingest pipeline)
简单吧。

首先看看日志的文件内容,打开日志文件,内容如下:

然后这个格式是默认的Nginx日志格式,如果是最新的5.3版本的Beats(未发布)就很简单,只需要启动的时候,指定参数-module=nginx就搞定,包括了dashboard、ingest pipeline等等一系列配置。

但是现在还没发布,我们先手动看看流程是如何吧,首先找到配置:https://github.com/elastic/beats/tree/master/filebeat/module/nginx/access。
是的,虽然还没发布,但是东西是现成的 :)

我们调试下GROK的Pattern,确保正常工作,使用ingest的模拟接口:

在Kibana里面的Dev Tools 里面运行之后的结果如下:

可以看到,grok正确对日志进行了结构化处理。

现在我们开始正式的创建一个ingest pipeline,用于对日志的处理。

一切正常的话,应该返回如下:

接下来创建模板来设置索引的mapping

然后在服务器上下载filebeat,此次省略。
我们看关键的配置文件filebeat.yml:

保存配置,启动filebeat:

打开Kibana,即可看到数据了。
Snip20170323_20

本文来自: 监控社区网站日志