write down,forget

使用 reindex API 迁移数据到 6.x 集群

<Category: Elastic>

原贴:https://discuss.elastic.co/t/dec-8th-2017-cn-elasticsearch-reindex-api-6-x/110257/

Elastic Stack 6.0 已经正式发布了,包含了很多激动人心的特性,相信有一些特性也是你非常感兴趣的,所以要不要考虑升级到最新的 6.0 版本呢?

关于版本升级,有很多种办法可以做到,这次 Advent 活动的第一篇,Mark Walkom 已有提及。原地升级固然速度很快,但是索引格式还是旧格式,数据结构依然还是旧的,无法应用新的特性,故无法发挥新版本的威力,

阅读这篇文章的其余部分

本文来自: 使用 reindex API 迁移数据到 6.x 集群

Build your own Google with Elasticsearch and Gopa

<Category: GOPA>

Original post: https://discuss.elastic.co/t/dec-20th-2017-en-elasticsearch-build-your-own-google-with-elasticsearch-and-gopa/112340

Welcome to Elastic Advent Day 20, today I am going to introduce a new way to quickly build your own Google with open source Elasticsearch and Gopa.

Gopa is a open source crawler project by myself, which is written in Golang. You may have already tried other crawler software to do the same stuff, and also you may ask me “why you are reinvent the wheel?”, well, I just did it.

阅读这篇文章的其余部分

本文来自: Build your own Google with Elasticsearch and Gopa

X-Pack 停用 security

<Category: Elastic>

如果你也和我一样想本地使用 Elastic 的 X-Pack,而又嫌输入密码麻烦,那么只需要在

Elasticsearch 和 Kibana 的配置文件分别加上配置:

然后分别重启 ES 和 Kibana 即可。

完。

本文来自: X-Pack 停用 security

监控社区网站日志

<Category: Beats, 日志分析>

Elastic中文社区网站一直在粗犷的运行在好友刘刚公司提供的一台Linode服务器上,最近正打算迁移到国内的一台服务器上,所以需要开始准备一些迁移工作。
首先第一件事就是把以往运行的日志都导入进Elasticsearch,我们看看如何做吧。

流程大概就是:
filebeat->elasticsearch(with ingest pipeline)
简单吧。
阅读这篇文章的其余部分

本文来自: 监控社区网站日志

一个爬虫:GOPA/狗爬

<Category: GOPA>

我以前搭建过一个 elasticsearch 资源的聚合网站,s.medcl.com,聚合了 elasticsearch 的相关资源,有文档,有 Google Group 的讨论(现在换 discuss 了),还有 PPT 等等,方便搜寻资料,因为时间太久,后面不知道死哪里去了,现在发现没有还真是很麻烦,有时候找一些资料很麻烦,要跑好几个网站去找,所以我把这个资源的搜索站重新弄起来。

然后就有了爬虫这个事情,通过爬虫来把这些资源自动收集起来,并且自动更新,然后存放到 elasticsearch 里面来,弄个界面,应该就完事了。
阅读这篇文章的其余部分

本文来自: 一个爬虫:GOPA/狗爬

创建一个你自己的 Beat

<Category: Beats>

翻译自:https://www.elastic.co/blog/build-your-own-beat
Elastic中文站点还没上线,翻译的一些内容先放上来.

Beats 是一个开源的用来构建轻量级数据汇集的平台,可用于将各种类型的数据发送至Elasticsearch 与 Logstash。我们有 Packetbeat 用于监控局域网内服务器之间的网络流量信息,有 Filebeat 收集服务器上的日志信息,还有新推出的 Metricbeat 可以定期获取外部系统的监控指标信息,除此以外,你还可以非常方便的基于 libbeat 框架来构建你属于自己的专属 Beat,目前 beas 社区已经有超过25个 Community Beats 了。
阅读这篇文章的其余部分

本文来自: 创建一个你自己的 Beat

挖坑 SmartOS

<Category: 虚拟化>

在家弄了一台gen8服务器作为自己倒腾用,gen8便宜够用,最多只能挂4块盘+光驱位,内存一次到位16GB,CPU一步到位,虚拟化方案最后选了 SmartOS,主要原因:1.没有折腾过;2.VMwareESXi 太重,性能一般;3.Docker 不适合;4.微软那一套的已弃坑;5.单独一个系统再加 KVM、XEN 管理不方便;6.SmartOS 号称性能最高;7.SmartOS 下的 Zones、DTrace、KVM 、ZFS 都很帅!轻量级,microSD 卡启动,启动文件随便坏,系统layout做在 ZFS 里面,不受外部影响;ZFS 的软件散列机制比 RAID 卡更好用(没几块盘, 没有强悍RAID卡的情况下,gen8自带 RAID 卡实在太弱,加盘也不方便)
阅读这篇文章的其余部分

本文来自: 挖坑 SmartOS

博客换回以前的皮肤

<Category: 小道消息>

如题,还是以前的博客皮肤舒服一点

本文来自: 博客换回以前的皮肤

使用Packetbeat来监控Cassandra

<Category: Beats, cassandra>

Cassandra是一个优秀的NOSQL数据库,支持kv和列式存储,并且提供了CQL的类似SQL的查询语法,使用起来非常方便,国内外有很多公司都在使用,今天主要介绍如何使用Packetbeat来对Cassandra进行监控,Packetbeat是Elastic开源的网络流量实时监控工具,目前已支持了一些流行的应用软件,如MongoDB、Redis、MySQL等,当然扩展起来也是非常方便的,Cassandra协议是我最近刚加上去的。

Packetbeat是一个Go语言的程序,所以支持跨平台,并且没有环境依赖的问题,不同的平台会有不同的包提供下载。
使用Packetbeat来监控应用服务有一个好处就是不要对应用做任何修改,完全无侵入式,如果大家了解过APM,常见的APM监控探测方式一般是以应用启动的时候加载一个探针让探针来动态获取运行时信息,而走网络请求抓包的方式连服务都不用重启,当然更不需要修改你程序一行代码。

阅读这篇文章的其余部分

本文来自: 使用Packetbeat来监控Cassandra

Packetbeat协议扩展开发教程(3)

<Category: Beats>

书接上回

前面介绍了Packetbeat的项目结构,今天终于要开始写代码了,想想还是有点小激动呢。(你快点吧,拖半天了)
网络传输两大协议TCP和UDP,我们的所有协议都不离这两种,HTTP、MySQL走的是TCP传输协议,DNS走的是UDP协议,在Packetbeat里面,实现一个自己的协议非常简单,继承并实现这两者对应的接口就行了,我们看一下长什么样:
打开一个现有的UDP和HTTP协议接口定义:
阅读这篇文章的其余部分

本文来自: Packetbeat协议扩展开发教程(3)