GOPA 发布 v0.10.0 版本

是时候发布一个版本了,v0.10.0 版本包括一些很不错的特性和改进,值得关注的: 管道可以通过 API 动态创建和修改,并且可以根据目标网址的规则动态应用。 支持 Chrome 浏览器模拟抓取,Ajax 渲染的页面也可以抓取了。 完善搜索界面,支持移动端和提供搜索提示。 支持用户登陆,使用 Github OAuth 来进行身份认证。 下载地址: https://github.com/infinitbyte/gopa/releases/tag/v0.10.0 包括 windows、linux 和 windows 三个平台的包。

SmartOS 的监控

SmartOS 简单好用(难用),不过缺少一个轻量级的图形化管理界面,尤其是监控界面,作为一个奇葩的存在,并且我又入了这个坑,有必要好好监控一下,不然服务器运行情况简直一抹黑,SmartOS 监控的资料很少,SmartOS 基于 Solaris,常规的监控方案都用不上,Beats 安装不了,只能再想想办法。

Elastic 中文社区运维监控实战 (2) – 总体方案

本文为系列文章第二篇,主要介绍如何把 Elastic 中文社区的网站服务器监控起来,对有同样想了解如何使用 Elastic Stack 来做运维监控的同学,可以作为一个很好的参考和入门资料,学习门槛定义为入门级。 本节内容 在深入到具体的监控指标收集的细节之前,今天先主要介绍一下 Elastic 中文社区的总体方案。这样我们在动手之前会有一个总体的思路和对所用工具有一个大致的了解。

使用 reindex API 迁移数据到 6.x 集群

原贴:https://discuss.elastic.co/t/dec-8th-2017-cn-elasticsearch-reindex-api-6-x/110257/ Elastic Stack 6.0 已经正式发布了,包含了很多激动人心的特性,相信有一些特性也是你非常感兴趣的,所以要不要考虑升级到最新的 6.0 版本呢? 关于版本升级,有很多种办法可以做到,这次 Advent 活动的第一篇,Mark Walkom 已有提及。原地升级固然速度很快,但是索引格式还是旧格式,数据结构依然还是旧的,无法应用新的特性,故无法发挥新版本的威力,

X-Pack 停用 security

如果你也和我一样想本地使用 Elastic 的 X-Pack,而又嫌输入密码麻烦,那么只需要在 Elasticsearch 和 Kibana 的配置文件分别加上配置:

然后分别重启 ES 和 Kibana 即可。 完。

监控社区网站日志

Elastic中文社区网站一直在粗犷的运行在好友刘刚公司提供的一台Linode服务器上,最近正打算迁移到国内的一台服务器上,所以需要开始准备一些迁移工作。 首先第一件事就是把以往运行的日志都导入进Elasticsearch,我们看看如何做吧。 流程大概就是: filebeat->elasticsearch(with ingest pipeline) 简单吧。

一个爬虫:GOPA/狗爬

我以前搭建过一个 elasticsearch 资源的聚合网站,s.medcl.com,聚合了 elasticsearch 的相关资源,有文档,有 Google Group 的讨论(现在换 discuss 了),还有 PPT 等等,方便搜寻资料,因为时间太久,后面不知道死哪里去了,现在发现没有还真是很麻烦,有时候找一些资料很麻烦,要跑好几个网站去找,所以我把这个资源的搜索站重新弄起来… …

创建一个你自己的 Beat

翻译自:https://www.elastic.co/blog/build-your-own-beat Elastic中文站点还没上线,翻译的一些内容先放上来. Beats 是一个开源的用来构建轻量级数据汇集的平台,可用于将各种类型的数据发送至Elasticsearch 与 Logstash。我们有 Packetbeat 用于监控局域网内服务器之间的网络流量信息,有 Filebeat 收集服务器上的日志信息,还有新推出的 Metricbeat 可以定期获取外部系统的监控指标信息,除此以外,你还可以非常方便的基于 libbeat 框架来构建你属于自己的专属 Beat,目前 beas 社区已经有超过25个 Community Beats 了。