write down,forget
分类 Category : 云里雾里

Yahoo! Cloud Serving Benchmark (YCSB)

<Category: 云里雾里> Comments Off on Yahoo! Cloud Serving Benchmark (YCSB)

ycsb,yahoo出品的云计算服务测试工具, Latest version tag: 0.1.2 [.tar.gz] [.zip]

http://wiki.github.com/brianfrankcooper/YCSB/

Links

ycsb-users@yahoogroups.com
http://groups.yahoo.com/group/ycsb-users

ppt:http://research.yahoo.com/files/ycsb-v4.pdf

论文: http://www.brianfrankcooper.net/pubs/ycsb.pdf

Papers and Presentations

Source code:

http://github.com/brianfrankcooper/YCSB/

本文来自: Yahoo! Cloud Serving Benchmark (YCSB)

Google MapReduce中文版

<Category: 云里雾里, 分布式> Comments Off on Google MapReduce中文版

译者: alex

摘要

MapReduce是一个编程模型,也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于key/value pair的数据集合,输出中间的基于key/value pair的数据集合;然后再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值。现实世界中有很多满足上述处理模型的例子,本论文将详细描述这个模型。
 
MapReduce架构的程序能够在大量的普通配置的计算机上实现并行化处理。这个系统在运行时只关心:如何分割输入数据,在大量计算机组成的集群上的调度,集群中计算机的错误处理,管理集群中计算机之间必要的通信。采用MapReduce架构可以使那些没有并行计算和分布式处理系统开发经验的程序员有效利用分布式系统的丰富资源。
 
我们的MapReduce实现运行在规模可以灵活调整的由普通机器组成的集群上:一个典型的MapReduce计算往往由几千台机器组成、处理以TB计算的数据。程序员发现这个系统非常好用:已经实现了数以百计的MapReduce程序,在Google的集群上,每天都有1000多个MapReduce程序在执行。
阅读这篇文章的其余部分 »

本文来自: Google MapReduce中文版

The Google File System中文版

<Category: 云里雾里, 分布式, 架构> Comments Off on The Google File System中文版
译者:alex

摘要

我们设计并实现了Google GFS文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上,但是它依然了提供灾难冗余的能力,为大量客户机提供了高性能的服务。
 
虽然GFS的设计目标与许多传统的分布式文件系统有很多相同之处,但是,我们的设计还是以我们对自己的应用的负载情况和技术环境的分析为基础的,不管现在还是将来,GFS和早期的分布式文件系统的设想都有明显的不同。所以我们重新审视了传统文件系统在设计上的折衷选择,衍生出了完全不同的设计思路。
 
GFS完全满足了我们对存储的需求。GFS作为存储平台已经被广泛的部署在Google内部,存储我们的服务产生和处理的数据,同时还用于那些需要大规模数据集的研究和开发工作。目前为止,最大的一个集群利用数千台机器的数千个硬盘,提供了数百TB的存储空间,同时为数百个客户机服务。
 
在本论文中,我们展示了能够支持分布式应用的文件系统接口的扩展,讨论我们设计的许多方面,最后列出了小规模性能测试以及真实生产系统中性能相关数据。
  阅读这篇文章的其余部分 »

本文来自: The Google File System中文版

Bigtable:一个分布式的结构化数据存储系统[中文版]

<Category: 云里雾里, 分布式> Comments Off on Bigtable:一个分布式的结构化数据存储系统[中文版]
译者:alex

摘要

Bigtable是一个分布式的结构化数据存储系统,它被设计用来处理海量数据:通常是分布在数千台普通服务器上的PB级的数据。Google的很多项目使用Bigtable存储数据,包括Web索引、Google Earth、Google Finance。这些应用对Bigtable提出的要求差异非常大,无论是在数据量上(从URL到网页到卫星图像)还是在响应速度上(从后端的批量处理到实时数据服务)。尽管应用需求差异很大,但是,针对Google的这些产品,Bigtable还是成功的提供了一个灵活的、高性能的解决方案。本论文描述了Bigtable提供的简单的数据模型,利用这个模型,用户可以动态的控制数据的分布和格式;我们还将描述Bigtable的设计和实现。

阅读这篇文章的其余部分 »

本文来自: Bigtable:一个分布式的结构化数据存储系统[中文版]

第二届中国云计算大会 会议记录 [5.21 下午]

<Category: 云里雾里> Comments Off on 第二届中国云计算大会 会议记录 [5.21 下午]

会议主题:第二届中国云计算大会

会议时间:2010年5月21日下午

会议地点:北京新云南皇冠假日酒店

阅读这篇文章的其余部分 »

本文来自: 第二届中国云计算大会 会议记录 [5.21 下午]

SaaS/PaaS/IaaS

<Category: 云里雾里> Comments Off on SaaS/PaaS/IaaS

SaaS(Software-as-a-service:软件在线服务)

SaaS是Software-as-a-service(软件在线服务)的简称,是随着互联网技术的发展和应用软件的成熟,而在21世纪开始兴起的一种完全创新的软件应用模式。它与“on-demand software”(按需软件),the application service provider(ASP,应用服务提供商),hosted software(托管软件)所具有相似的含义。它是一种通过Internet提供软件的模式,厂商将应用软件统一部署在自己的服务器上,客户可以根据自己实际需求,通过互联网向厂商定购所需的应用软件服务,按定购的服务多少和时间长短向厂商支付费用,并通过互联网获得厂商提供的服务。用户不用再购买软件,而改用向提供商租用基于Web的软件,来管理企业经营活动,且无需对软件进行维护,服务提供商会全权管理和维护软件,软件厂商在向客户提供互联网应用的同时,也提供软件的离线操作和本地数据存储,让用户随时随地都可以使用其定购的软件和服务。对于许多小型企业来说,SaaS是采用先进技术的最好途径,它消除了企业购买、构建和维护基础设施和应用程序的需要。

PaaS(Platform-as-a-Service:平台即服务)

全称:(Platform as a service)中文: 平台作为服务,把服务器平台作为一种服务提供的商业模式。通过网络进行程序提供的服务称之为SaaS(Software as a Service),而云计算时代相应的服务器平台或者开发环境作为服务进行提供就成为了 PaaS(Platform as a Service)。所谓PaaS实际上是指将软件研发的平台(计世资讯定义为业务基础平台)作为一种服务,以SaaS的模式提交给用户。因此,PaaS也是SaaS模式的一种应用。但是,PaaS的出现可以加快SaaS的发展,尤其是加快SaaS应用的开发速度。

IaaS(Infrastructure as a Service:基础设施即服务)

消费者通过 Internet 可以从完善的计算机基础设施获得服务。这类服务称为基础设施即服务(Infrastructure as a Service,IaaS)。基于 Internet 的服务(如存储和数据库)是 IaaS的一部分。Internet上其他类型的服务包括平台即服务(Platform as a Service,PaaS)和软件即服务(Software as a Service,SaaS)。PaaS提供了用户可以访问的完整或部分的应用程序开发,SaaS则提供了完整的可直接使用的应用程序,比如通过 Internet管理企业资源。

作为 Infrastructure as a Service (IaaS) 在实际应用中的一个例子,The NewYorkTimes 使用成百上千台 Amazon EC2 实例在 36 小时内处理 TB 级的文档数据。如果没有 EC2,TheNewYork Times 处理这些数据将要花费数天或者数月的时间。

IaaS 分为两种用法:公共的和私有的。AmazonEC2在基础设施云中使用公共服务器池。更加私有化的服务会使用企业内部数据中心的一组公用或私有服务器池。

云计算(Cloud Computing)

是个2007年第3季度才兴起的新名词,是一种新兴的商业计算模型。它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。

云计算的定义有着狭义和广义之分。狭义的云计算,指的是厂商通过分布式计算和虚拟化技术搭建数据中心或超级计算机,以免费或按需租用方式向技术开发者或者企业客户提供数据存储等。广义的云计算,则指厂商通过建立网络服务器集群,向各种不同类型客户提供在线软件服务、硬件租借、数据存储、计算分析等不同类型的服务。显然,广义的云计算包括了更多的厂商和服务类型,例如以八百客、沃利森为主开发的在线CRM软件,国内用友、金蝶等老牌管理软件厂商也推出的在线财务软件,谷歌发布的 Google应用程序套装等,都可纳入这一范畴。

云(Cloud)

是一些可以自我维护和管理的虚拟计算资源,通常为一些大型服务器集群,包括计算服务器、存储服务器、宽带资源等等。云计算将所有的计算资源集中起来,并由软件实现自动管理,无需人为参与。这使得应用提供者无需为繁琐的细节而烦恼,能够更加专注于自己的业务,有利于创新和降低成本。

有人打了个比方:这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。

云计算是并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的发展,或者说是这些计算机科学概念的商业实现。云计算是虚拟化(Virtualization)、效用计算(Utility Computing)、IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等概念混合演进并跃升的结果。

本文来自: SaaS/PaaS/IaaS

第二届中国云计算大会 会议记录 [5.21 上午]

<Category: 云里雾里> Comments Off on 第二届中国云计算大会 会议记录 [5.21 上午]

会议主题:第二届中国云计算大会

会议时间:2010年5月21日上午

会议地点:北京新云南皇冠假日酒店

会议主持:中国电子学会秘书长 林润华

阅读这篇文章的其余部分 »

本文来自: 第二届中国云计算大会 会议记录 [5.21 上午]

豆瓣技术架构的发展历程 @ QCon Beijing 2009

<Category: 云里雾里, 分布式, 架构> Comments Off on 豆瓣技术架构的发展历程 @ QCon Beijing 2009

转,学习

现场视频:InfoQ: 豆瓣网技术架构变迁

本文来自: 豆瓣技术架构的发展历程 @ QCon Beijing 2009

Force.com的多租户架构 [转]

<Category: 云里雾里, 架构> Comments Off on Force.com的多租户架构 [转]

由于Force.com所负载的应用不论是在定制方面的灵活性上,还是所承受的负载上,对基于多租户的架构而言,都是史无前例的,导致之前提到的一些模型或者改动已经无法满足要求了,所以Salesforce在Force.com引入了通过Metadata(元数据)驱动的多租户架构来动态生成快速的,可伸缩的和可定制的应用。接下来,将一步步为大家揭开Force.com多租户架构的神秘面纱,首先是它的总体架构。

阅读这篇文章的其余部分 »

本文来自: Force.com的多租户架构 [转]

转载,NoSQL数据库笔谈

<Category: 云里雾里> Comments Off on 转载,NoSQL数据库笔谈

作者颜开,整理的比较详细,源地址:http://docs.google.com/View?id=dc23x53c_64db5px4f6

NoSQL数据库笔谈

本文来自: 转载,NoSQL数据库笔谈