clouderaCDH3国内源

贡献一个cloudra CDH3 国内源 #如何使用呢?

how 2 run hadoop streaming job over brisk

–error— [root@platformD testmr]# ./job.sh rmr: cannot remove /test_output: No such file or directory. File: /tmp/testmr/-Dbrisk.job.tracker=10.129.6.36:8012 does not exist, or is not readable

datastax brisk 安装

https://github.com/riptano/brisk/archives/brisk1)

//压缩包里面包含了所有的组件:brisk1.0,pig,hive,hadoop,cassandra 或者使用包来安装 redhat或centos下: 第一步,先安装EPEL(Extra Packages for Enterprise Linux),包含了brisk依赖的相关包,如jna和jpackage-utils 如果不确定是否安装EPEL,可以通过查看/etc/yum.repos.d下的epel.repo和epel-testing.repo 文件

如果遇到警告: RPM-GPG-KEY-EPEL key not being found,可以忽略或者到这里下载key:https://fedoraproject.org/keys ok,开始正式安装brisk 添加源

替换成你系统自己的,有EL或Fedora两种

替换之后的repo文件如下:

安装

debian下: 编辑文件/etc/apt/sources.list

可选 lenny, lucid, maverick or squeeze

debian5.0使用如下

[…]

Hive derby lock及目录权限错误

FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Cannot get a connection, pool error Could not create a validated object, cause: A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection. NestedThrowables: org.apache.commons.dbcp.SQLNestedException: […]

热门话题,时间及空目录的处理

  先查看hadoop目录的文件数,然后再决定是不是在input里面加上该目录 [dev@platformB dailyrawdata]$  hadoop fs -ls /trendingtopics |wc -l 3 计算时间的方法 [dev@platformB dailyrawdata]$ lastdate=20110619 [dev@platformB dailyrawdata]$ echo $lastdate 20110619 [dev@platformB dailyrawdata]$ echo date –date “-d $lastdate + 1day” +”%Y%m%d” 20110620 [dev@platformB dailyrawdata]$ echo D9=date –date “now -20 day” +”%Y%m%d” […]

hadoop thrift client

http://code.google.com/p/hadoop-sharp/ 貌似不给力,pass http://wiki.apache.org/hadoop/HDFS-APIs http://wiki.apache.org/hadoop/MountableHDFS http://wiki.apache.org/hadoop/Hbase/Stargate http://hadoop.apache.org/hdfs/docs/r0.21.0/hdfsproxy.html 统统不给力啊,走thrift吧,看了下svn,cocoa之类的都有现成的了,为啥没有c#,faint

搭建trendingtopics

https://github.com/datawrangling/trendingtopics https://github.com/datawrangling/spatialanalytics 搭建trendingtopics,步骤。 环境准备

配置文件

安装

如果保错:undefined local variable or method `version_requirements’ vi config/environment.rb 在开头加入:

安装mysql client和mysql gem

配置数据库连接

安装数据库

生成100条文章来做demo数据

server启动后,访问地址http://localhost:3000/

报错:

创建表 CREATE TABLE raw_daily_stats_table1 (redirect_title […]