write down,forget
adidas eqt support ultra primeknit vintage white coming soon adidas eqt support ultra boost primeknit adidas eqt support ultra pk vintage white available now adidas eqt support ultra primeknit vintage white sz adidas eqt support ultra boost primeknit adidas eqt adv support primeknit adidas eqt support ultra boost turbo red white adidas eqt support ultra boost turbo red white adidas eqt support ultra boost turbo red adidas eqt support ultra whiteturbo adidas eqt support ultra boost off white more images adidas eqt support ultra boost white tactile green adidas eqt support ultra boost beige adidas eqt support ultra boost beige adidas eqt support refined camo drop adidas eqt support refined camo drop adidas eqt support refined running whitecamo adidas eqt support 93 primeknit og colorway ba7506 adidas eqt running support 93 adidas eqt support 93

brisk调试部署全纪录

<Category: cassandra, Hadoop, nosql> 查看评论

brisk快速测试记录。
参考链接:
http://www.datastax.com/docs/0.8//about_pig

设置环境变量

生效

On linux systems, you need to run the following as root

This is to avoid OOM errors when tasks are spawned.

–此步骤不需要–
如果从源码编译,可能需要ant
compile and download all dependencies

–end——–

start with built in job/task trackers

问?为什么有-t?
答:The -t option starts Cassandra (with CassandraFS) and the Job Tracker and Task Tracker services.
Because there is no Hadoop NameNode with CassandraFS, there is no additional configuration to run MapReduce jobs in single mode versus distributed mode

view jobtracker
http://localhost:50030

examine CassandraFS

start shell or webUI

or

open web browser to http://localhost:9999/hwi

貌似还有不少bug~

test

1.pig
上传文件

创建keyspace
打开cli
resources/cassandra/bin/cassandra-cli
连接cassandra

注:集群环境,不能用127.0.0.1,必须用ip,如下错误:

—忽略—-
执行

–忽略完—

原来,正确的做法不是这样的,看下面:

#原来如此,之前那种方式是local,在brisk集群中需要使用下面的方式,如下:

#下面就开始跑了

brisktool使用:http://www.datastax.com/docs/0.8/brisk/about_pig

默认的jobtracker client的端口是8012,如果你不确定你的究竟是多少,则可以通过执行上面的命令来查看

test2
portfolio_manager

如果是在集群环境,使用如下的方式来初始化数据及keyspace

–注,貌似上面这种方式不行,应该和前面一样ip的问题。
–解决办法–
手动处理

然后再执行前面的命令:

–这样处理了之后,倒是没有之前的错误了,但是数据没有进去了
cli下:drop keyspace PortfolioDemo;
然后重新执行第一步的pricer程序,即可。

启动网站

http://localhost:8983/portfolio

生成数据

如图所示,报表中显示的金额不断在变化,但是每个图表下方的10天历史统计数据显示为?,没错,这个还没有计算,用hive来跑一下吧。

ok,单击环境的brisk就是这么简单了。

目前为止,我们还没有改任何一个配置文件,单节点跑的很happy。

下面开始搭建brisk集群环境。
参考链接:
http://www.datastax.com/docs/0.8/brisk/init_brisk_cluster

开始之前,我需要确定下面几件事情,
集群名称,cassandra通过集群名称来区分集群
集群节点数量
每个节点的ip
每个节点的token,token生成:http://www.datastax.com/docs/0.8/brisk/init_brisk_cluster#token-gen
seed节点配置,cassandra节点可分成real-time对外服务的节点和用来进行分析计算的节点(什么是seed,cassandra通过gossip协议来通信,集群很大之后,不可能每个节点上都配置了完整的节点列表,但是只是需要有一个作为seed,种子的意思,通过这个seed传递发现其他节点,以此类推,http://wiki.apache.org/cassandra/GettingStarted)

现在我们有3个节点,先生成token
token用来为特点节点的数据分配范围,假设使用的是RandomPartitioner方式,通过这种方式可以保证数据的平均分配。

注:生成的token在后面的配置中,填入到initial_token

节点36:

节点58:

节点74:

启动服务

JNA安装(Java Native Access)
jna可以提高brisk内存使用的性能

To install JNA with Brisk

Download jna.jar from the JNA project site:http://java.net/projects/jna/sources/svn/show/trunk/jnalib/dist/.
Add jna.jar to $BRISK_HOME/lib/ or otherwise place it on the classpath.
Edit the file /etc/security/limits.conf, adding the following entries for the user or group that runs Brisk:
$USER soft memlock unlimited
$USER hard memlock unlimited

–悲催,cfs里面/居然是个文件–


–解决办法:服务全停,cassandra数据目录清空,起服务—

命令汇总:
查看jobtracker client信息

6.36启动hive站点

地址:http://10.129.6.36:9999/hwi/show_databases.jsp

查看cassandra集群

在每个节点上配置host
否则可能有如下异常:

[Configuring OpsCenter]

重启服务

打开站点:http://10.129.6.36:8888/opscenter/index.html

—-

Error: No Cassandra connections available


Configuring JMX Connectivity on the Monitored Cluster

OpsCenter 通过jmx来进行集群监控,看来还需要配置cassandra一下

vi /usr/local/brisk-1.0/resources/cassandra/conf/cassandra-env.sh
查找 替换为实际的ip地址,并取消注释#,如下:

重启opscenter,发现还是不行
再次打开

重启服务

还是不行,哥,怎么回事啊
看日志

居然。。。
用这种方式启动,ok:

agent手动安装方式

添加第4个节点

each node

本文来自: brisk调试部署全纪录