write down,forget

创建一个你自己的 Beat

<Category: Beats>

Beats 是一个开源的用来构建轻量级数据汇集的平台,可用于将各种类型的数据发送至Elasticsearch 与 Logstash。我们有 Packetbeat 用于监控局域网内服务器之间的网络流量信息,有 Filebeat 收集服务器上的日志信息,还有新推出的 Metricbeat 可以定期获取外部系统的监控指标信息,除此以外,你还可以非常方便的基于 libbeat 框架来构建你属于自己的专属 Beat,目前 beas 社区已经有超过25个 Community Beats 了。
阅读这篇文章的其余部分

本文来自: 创建一个你自己的 Beat

挖坑 SmartOS

<Category: 虚拟化>

在家弄了一台gen8服务器作为自己倒腾用,gen8便宜够用,最多只能挂4块盘+光驱位,内存一次到位16GB,CPU一步到位,虚拟化方案最后选了 SmartOS,主要原因:1.没有折腾过;2.VMwareESXi 太重,性能一般;3.Docker 不适合;4.微软那一套的已弃坑;5.单独一个系统再加 KVM、XEN 管理不方便;6.SmartOS 号称性能最高;7.SmartOS 下的 Zones、DTrace、KVM 、ZFS 都很帅!轻量级,microSD 卡启动,启动文件随便坏,系统layout做在 ZFS 里面,不受外部影响;ZFS 的软件散列机制比 RAID 卡更好用(没几块盘, 没有强悍RAID卡的情况下,gen8自带 RAID 卡实在太弱,加盘也不方便)
阅读这篇文章的其余部分

本文来自: 挖坑 SmartOS

博客换回以前的皮肤

<Category: 小道消息>

如题,还是以前的博客皮肤舒服一点

本文来自: 博客换回以前的皮肤

使用Packetbeat来监控Cassandra

<Category: Beats, cassandra>

Cassandra是一个优秀的NOSQL数据库,支持kv和列式存储,并且提供了CQL的类似SQL的查询语法,使用起来非常方便,国内外有很多公司都在使用,今天主要介绍如何使用Packetbeat来对Cassandra进行监控,Packetbeat是Elastic开源的网络流量实时监控工具,目前已支持了一些流行的应用软件,如MongoDB、Redis、MySQL等,当然扩展起来也是非常方便的,Cassandra协议是我最近刚加上去的。

Packetbeat是一个Go语言的程序,所以支持跨平台,并且没有环境依赖的问题,不同的平台会有不同的包提供下载。
使用Packetbeat来监控应用服务有一个好处就是不要对应用做任何修改,完全无侵入式,如果大家了解过APM,常见的APM监控探测方式一般是以应用启动的时候加载一个探针让探针来动态获取运行时信息,而走网络请求抓包的方式连服务都不用重启,当然更不需要修改你程序一行代码。

阅读这篇文章的其余部分

本文来自: 使用Packetbeat来监控Cassandra

Packetbeat协议扩展开发教程(3)

<Category: Beats>

书接上回

前面介绍了Packetbeat的项目结构,今天终于要开始写代码了,想想还是有点小激动呢。(你快点吧,拖半天了)
网络传输两大协议TCP和UDP,我们的所有协议都不离这两种,HTTP、MySQL走的是TCP传输协议,DNS走的是UDP协议,在Packetbeat里面,实现一个自己的协议非常简单,继承并实现这两者对应的接口就行了,我们看一下长什么样:
打开一个现有的UDP和HTTP协议接口定义:
阅读这篇文章的其余部分

本文来自: Packetbeat协议扩展开发教程(3)

Packetbeat协议扩展开发教程(2)

<Category: Beats>

书接上回

我们打开Packetbeat项目,看看里面长什么样:
阅读这篇文章的其余部分

本文来自: Packetbeat协议扩展开发教程(2)

Packetbeat协议扩展开发教程(1)

<Category: Beats>

Packetbeat(https://www.elastic.co/products/beats/packetbeat
是一个开源的网络抓包与分析框架,内置了很多常见的协议解析,如HTPP、MySQL、Thrift等。但是网络协议有很多,如何扩展一个自己的协议呢,本文将为您介绍如何在Packetbeat基础上扩展实现您自己的协议。
阅读这篇文章的其余部分

本文来自: Packetbeat协议扩展开发教程(1)

Elasticsearch添加Shield后TransportClient如何连接?

<Category: Diving Into ElasticSearch>

Shield是Elasticsearch一个安全防护插件,提供了权限访问控制和日志审计功能,企业可以很方便的和LDAP或是ActiveDirectory进行集成,重用现有的安全认证体系.

Elasticsearch使用了Shield后,Elasticsearch就需要权限才能访问了,和默认的调用方式有些不同,下面简单介绍一下HTTP和TCP两种方式的连接.
阅读这篇文章的其余部分

本文来自: Elasticsearch添加Shield后TransportClient如何连接?

索引optimize究竟是否减少索引内存占用的测试

<Category: Diving Into ElasticSearch>

针对昨天wood兄的帖子,做的实验,http://elasticsearch.cn/article/32
阅读这篇文章的其余部分

本文来自: 索引optimize究竟是否减少索引内存占用的测试

简繁体插件更新,支持es2.0

<Category: Diving Into ElasticSearch>

简繁体分词及ES插件STConvert更新

地址:https://github.com/medcl/elasticsearch-analysis-stconvert

阅读这篇文章的其余部分

本文来自: 简繁体插件更新,支持es2.0