存档 Archives : April, 2010
原：http://hadoop.apache.org/common/docs/current/hdfs_design.html【英文】
一、前提和设计目标
1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目标。
2、跑在HDFS上的应用与一般的应用不同，它们主要是以流式读为主，做批量处理；比之关注数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。
3、HDFS以支持大数据集合为目标，一个存储在上面的典型文件大小一般都在千兆至T字节，一个单一HDFS实例应该能支撑数以千万计的文件。
4、 HDFS应用对文件要求的是write-one-read-many访问模型。一个文件经过创建、写，关闭之后就不需要改变。这一假设简化了数据一致性问题，使高吞吐量的数据访问成为可能。典型的如MapReduce框架，或者一个web crawler应用都很适合这个模型。
5、移动计算的代价比之移动数据的代价低。一个应用请求的计算，离它操作的数据越近就越高效，这在数据达到海量级别的时候更是如此。将计算移动到数据附近，比之将数据移动到应用所在显然更好，HDFS提供给应用这样的接口。
6、在异构的软硬件平台间的可移植性。
阅读这篇文章的其余部分 »
本文来自: Hadoop分布式文件系统：架构和设计要点
运行hadoop程序时，有时候会报以下错误：
org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode
在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。
解决办法：
hadoop dfsadmin -safemode leave目前karmic的Cloudera Desktop还没有出来，so，使用jaunty的源，如下：
deb http://archive.cloudera.com/debian jaunty-testing contrib deb-src http://archive.cloudera.com/debian jaunty-testing contrib
其他安装步骤参照：http://archive.cloudera.com/desktop/packages_pseudo.html
安装完，访问：http://yourserverip:8088/即可
提示说，只在Firefox3上测试过，用ie打开果然惨不忍睹啊。
如果报错：Exception communicating with Hadoop MR JobTracker at localhost:9290: Could not connect to localhost:9290
1.其实cloudera已经将配置文件放在etc/hadoop下了，如下操作:
mv /etc/hadoop/conf /etc/hadoop/conf_back mv /etc/hadoop/conf.pseudo-desktop/ conf
2.重启Hadoop各服务
ubuntu请运行： sudo passwd root
设置root密码，否则启动会报没有权限
for service in /etc/init.d/hadoop-0.20-* do sudo $service restart done /etc/init.d/cloudera-desktop restart
本文来自: Cloudera Desktop安装配置
下载HBase最新版本：http://www.apache.org/dyn/closer.cgi/hadoop/hbase
解压到/home/user/hbase
$ cd /home/user/hbase
设置JDK目录，需1.6版本
$ vim conf/hbase-env.sh
export JAVA_HOME=/usr/local/jdk
修改你的HBase服务器名
$ vi conf/regionservers
启动hbase
$ bin/start-hbase.sh
启动后可以在 logs/目录下看到不少logs文件
也可以输入以下指令进入HQL指令模式
$ bin/hbase shell
关闭HBase服务
$ bin/stop-hbase.sh
本文来自: HBase的安装配置
参考：
http://www.howtoforge.com/openvpn-server-on-centos-5.2
http://www.deepvps.com/burstnet-vps-install-openvpn.html
http://www.hostloc.com/thread-13493-1-1.html
本文来自: BurstNET VPS搭建OpenVPN
保存为bat批处理文件，执行即可休眠。
powercfg /hibernate on rundll32.exe powrprof.dll,SetSuspendState 1,1,1
本文来自: Windows2008 r2快速休眠
ssh默认端口是22，当以VirtualBox使用的是NAT网络方式的时候，需要通过ssh来访问虚拟机，可以通过端口转发来做，如下：
1.转到virtualbox的安装目录
2.执行如下几个命令
VBoxManage setextradata ubuntu_server "VBoxInternal/Devices/pcnet/0/LUN#0/Config/ssh/Protocol" TCP VBoxManage setextradata ubuntu_server "VBoxInternal/Devices/pcnet/0/LUN#0/Config/ssh/HostPort" 22 //这个端口可以自由设定 VBoxManage setextradata ubuntu_server "VBoxInternal/Devices/pcnet/0/LUN#0/Config/ssh/GuestPort" 22 //ubuntu系统中的SSH服务端口22
注：ubuntu_server是你的虚拟机的名字。
原理：把来自Host系统的22这个端口的数据转发到Guest系统的22这个端口
3.重启Guest虚拟机
4。查看设置
VBoxManage getextradata ubuntu_server enumerate
解决办法：
比如我是 su - apache的时候出现的问题
用vi看看apache的帐号信息
# vi /etc/passwd | grep apache
发现它的shell是“/sbin/nologin”，需要将起改成“/bin/bash”
# vipw /etc/passwd
修改完毕后，保存退出
本文来自: linux切换用户的时候出现“This account is currently not available”错误
申请时需要手机验证，支持邮件列表和最多200的用户数，每个账户3g的空间
域名邮箱登陆地址：http://ym.163.com/
并且，网易域名邮箱支持POP3/SMTP服务，比qq的域名邮箱好的地方就是不用密码都是同一个，还得绑定到qq号码上。
POP3：pop.ym.163.com 默认端口为：110
SMTP：smtp.ym.163.com 默认端口为：25
其他的一些功能就跟网易其他的邮箱是一样的了，就不说了，还不错。
本文来自: 网易也推出域名邮箱啦
