<Date: 2010-06-02>
<Author: medcl>
<Category: 云里雾里, 分布式, 架构>
摘要
我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了提供灾难冗余的能力，为大量客户机提供了高性能的服务。
虽然GFS的设计目标与许多传统的分布式文件系统有很多相同之处，但是，我们的设计还是以我们对自己的应用的负载情况和技术环境的分析为基础的，不管现在还是将来，GFS和早期的分布式文件系统的设想都有明显的不同。所以我们重新审视了传统文件系统在设计上的折衷选择，衍生出了完全不同的设计思路。
GFS完全满足了我们对存储的需求。GFS作为存储平台已经被广泛的部署在Google内部，存储我们的服务产生和处理的数据，同时还用于那些需要大规模数据集的研究和开发工作。目前为止，最大的一个集群利用数千台机器的数千个硬盘，提供了数百TB的存储空间，同时为数百个客户机服务。
在本论文中，我们展示了能够支持分布式应用的文件系统接口的扩展，讨论我们设计的许多方面，最后列出了小规模性能测试以及真实生产系统中性能相关数据。
本文来自: The Google File System中文版
<Date: 2010-06-01>
<Author: medcl>
<Category: 云里雾里, 分布式>
译者：alex
摘要
Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB级的数据。Google的很多项目使用Bigtable存储数据，包括Web索引、
Google Earth、
Google Finance。这些应用对Bigtable提出的要求差异非常大，无论是在数据量上（从URL到网页到卫星图像）还是在响应速度上（从后端的批量处理到实时数据服务）。尽管应用需求差异很大，但是，针对Google的这些产品，Bigtable还是成功的提供了一个灵活的、高性能的解决方案。本论文描述了Bigtable提供的简单的数据模型，利用这个模型，用户可以动态的控制数据的分布和格式；我们还将描述Bigtable的设计和实现。
阅读这篇文章的其余部分 »
本文来自: Bigtable：一个分布式的结构化数据存储系统[中文版]
<Date: 2010-05-20>
<Author: medcl>
<Category: .NET, 分布式, 架构, 资源分享>
最近看MySpace的DataRelay代码，有点抓狂（无文档、注释极少、缺少用例），DataRelay是MySpace开源的一个中间层框架，核心是一个支持插件的消息系统，内部使用了微软的CCR（Concurrency and Coordination Runtime，a component originally released as part of the Microsoft Robotic Studio）来作为消息的分发，包括3个核心组件：
- Forwarder - This handles the actual moving of messages, both from client to server and between servers ，实现消息的不同服务器节点以及客户端之间的数据分发传递.
- BerkeleyDB - This handles storing data, and is the component used for basic key/value caching,Oracle的KeyValue数据库，查询效率高，数据能够持久化到硬盘，支持多个节点来实现分布式缓存.
- Index Cache - This is a two tiered indexed data system, for more advanced queries than simple key/value，通过创建索引数据并存储到BerkeleyDB，并通过Component在服务端进行计算筛选，来实现复杂的数据查询.
MySpace作为.NET架构最为成功的案例之一，确实有其过人之处，DataRelay提供了高性能的缓存系统和消息处理机制，并支持自定义计算Component组件，各组件支持Cluster，有完整的Replication和负载均衡机制，组件都是以windows服务的形式，可以非常灵活的进行部署，客户端与服务端使用Socket进行通讯，另外通过自定义组件可以提供更多的扩展，譬如缓存部分可以使用Memcached组件来替换等。
MySpace虽然开源出来了这套东西，但是好像不怎么上心，CodePlex上面连个像样文档都没有，扔上去的代码连测试用例都没有一个，想要用这套东西还真只能全凭看代码了。
CodePlex代码下载地址：http://datarelay.codeplex.com/SourceControl/list/changesets#
MIX 10上的演讲：Robots at MySpace: Massive Scaling a .NET Website with the Microsoft Robotic Studio (有CCR相关的介绍) PPT下载
CCR at MySpace : http://channel9.msdn.com/shows/Communicating/CCR-at-MySpace/
本文来自: 小议 MySpace DataRelay
<Date: 2010-05-19>
<Author: medcl>
<Category: 云里雾里, 分布式, 架构>
<Date: 2010-05-12>
<Author: medcl>
<Category: 分布式>
gossip协议
1.
On this model,a simulation of ALM(application layer multicast) was built up based on the
gossip protocol.
基于对无标度网络的研究,提出了一种基于对数关系的改进的非平稳增长模型,在此模型基础上建立了基于gossip协议的应用层组播(ALM)的模拟仿真。
2.
This paper probes into the duplication management policy and the Gossip protocol,which is widely used in unstructured P2P network,and proposes a .
对非结构化P2P网络中广泛应用的Gossip协议和副本管理策略进行了探索和研究,运用模糊理论提出一种副本存储节点的选择策略。
3.
Gossip protocol is a popular P2P network resources detection algorithm, which doesn t consider finding lowest cost resources.
Gossip协议是P2P网络的一种流行的资源发现算法,但它没有考虑寻找最低成本的资源。
wikipedia:http://en.wikipedia.org/wiki/Gossip_protocol or http://cn.bing.com/reference/semhtml/Gossip_protocol
http://hi.baidu.com/jingjing615/blog/item/3d42fd0343f6d188d53f7c17.html
本文来自: 分布式通信协议,Gossip protocol
