Diving Into ElasticSearch (2) 开发环境搭建

今天介绍下ElasticSearch开发环境的搭建,ElasticSearch本身就已经够强大了,基本上满足各种要求,但是在中文分词方面,自带的几个分词器还是捉襟见肘,但是,不要急,ElasticSearch系统提供了很灵活的插件机制,你可以很方便的编写自定义的插件(ES自带很多功能也同样是以插件的方式来提供的,如Transport插件、River插件等),好,首先咱们第一步就是搭建好开发环境。

Diving Into ElasticSearch (1) 序

You know,For Search~ 打算写一系列的关于ElasticSearch的文章,一部分内容来自翻译,一部分来自自己的使用心得和调试过程。 一方面可以系统的整理下相关东西,另外也方便自己快速查找。 希望通过这些文章可以让更多的人来了解ElasticSearch。 Allright,先简单介绍下ElasticSearch吧,ElasticSearch的作者是Shay Banon (kimchy是同一个人哦),另一开源搜索项目Compass的作者,用过compass的人应该都知道,compass能够方便的为ORM框架添加搜索功能(即OSEM),简单配置即可,但是正因为使用简单,反而缺少了灵活性(和Hibernate.Search一样,同样折腾过),另外kimchy以前还是GigaSpaces的分布式专家,在Compass3.0的开发和思考中,作者加入了更多的分布式方面的元素,到最后,作者的开发重心基本上全部转到ElasticSearch上来,于是早期的ElasticSearch除了继承了很多Compass的特性之外还有大量的新的特性,比如就有如下一些显著特性(也是刚开始最吸引我的地方):Json数据格式、RESTful访问接口,Shard+Replica、Auto-Discovery、Zero-Config等,想知道ElasticSearch诞生的前因后果,可以看看作者的这篇博文:http://www.kimchy.org/the_future_of_compass/,总之ElasticSearch就这样诞生了。 相关链接: ElasticSearch:http://www.elasticsearch.org/ 源码Host在Github上:http://github.com/elasticsearch #elasticsearch @ Freenode @elasticsearch @Twitter Google Group http://groups.google.com/a/elasticsearch.com   核心特性: Schema Free & Document Oriented:灵活, Schema Mapping:精确控制 Multi Tenancy:租户隔离(支持多index、多type,同一index下可以有多个类型,支持同时对多个index和多个type的查询) Settings:Per-Index配置,动态配置,武装到牙齿 Distributed:分布式、动态伸缩、去中心化 Gateway:多种持久化策略 … … 下面是为本系列文章草拟的一个大纲: 1.安装配置 2.索引及查询 3.QueryDSL […]

Hive derby lock及目录权限错误

FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Cannot get a connection, pool error Could not create a validated object, cause: A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection. NestedThrowables: org.apache.commons.dbcp.SQLNestedException: […]

vsftpd 533

    LumiSoft.Net.FTP.Client.FTP_ClientException : 553 Could not create file.   [dev@platformB dailyrawdata]$ /usr/sbin/setsebool -P ftp_disable_trans 1 setsebool:  SELinux is disabled.   /etc/init.d/vsftpd restart

热门话题,时间及空目录的处理

  先查看hadoop目录的文件数,然后再决定是不是在input里面加上该目录 [dev@platformB dailyrawdata]$  hadoop fs -ls /trendingtopics |wc -l 3 计算时间的方法 [dev@platformB dailyrawdata]$ lastdate=20110619 [dev@platformB dailyrawdata]$ echo $lastdate 20110619 [dev@platformB dailyrawdata]$ echo date –date “-d $lastdate + 1day” +”%Y%m%d” 20110620 [dev@platformB dailyrawdata]$ echo D9=date –date “now -20 day” +”%Y%m%d” […]

The "GenerateResource" task failed unexpectedly.

Error    9    The “GenerateResource” task failed unexpectedly. System.TypeInitializationException: The type initializer for ‘Microsoft.Build.Utilities.FileTracker’ threw an exception. —> System.NullReferenceException: Object reference not set to an instance of an object. at Microsoft.Build.Utilities.FileTracker..cctor() — End of inner exception stack trace — at Microsoft.Build.Utilities.FileTracker.ForceOutOfProcTracking(ExecutableType […]

SUA+CURL加载libssl.so的问题

curl安装之后报libssl.so加载不上,又是64和86的原因。 bash-3.2$ su Password: $ pwd /usr/local/ssl/lib $ ln -s ./x86/libssl.so libssl.so $ ln -s ./x86/libcrypto.so  libcrypto.so $ curl curl: try ‘curl –help’ or ‘curl –manual’ for more information $

shell脚本:/bin/sh^M: bad interpreter: No such file or directory。

  今天再一次碰到了这个问题。 在Linux中执行.sh脚本,异常/bin/sh^M: bad interpreter: No such file or directory。 分析:这是不同系统编码格式引起的:在windows系统中编辑的.sh文件可能有不可见字符,所以在Linux系统下执行会报以上异常信息。 解决:1)在windows下转换:         利用一些编辑器如UltraEdit或EditPlus等工具先将脚本编码转换,再放到Linux中执行。转换方式如下(UltraEdit):File–>Conversions–>DOS->UNIX即可。        2)也可在Linux中转换:          首先要确保文件有可执行权限          #sh>chmod a+x filename           然后修改文件格式           #sh>vi filename           利用如下命令查看文件格式          :set ff  或 :set fileformat           可以看到如下信息           fileformat=dos 或 […]

ES 0.16 ID字段调整及IDS-QUERY的使用

ES0.16的版本,对ID字段做了调整,默认不会对其进行索引,所以对_id做查询和排序都将不起作用。 如下面的操作: 查询