write down,forget
分类 Category : 架构

[转] 揭秘全球最大网站Facebook背后的那些软件

<Category: 未分类, 架构> Comments Off on [转] 揭秘全球最大网站Facebook背后的那些软件

2010年6月,Google公布全球Top 1000网站。Facebook独占鳌头。

 

以Facebook现在的经营规模,诸多传统服务器的技术均将崩溃或根本无法支撑。那么面对5亿的活跃用户,Facebook的工程师们又将如何让网站平 稳运转呢?伯乐在线 – 职场博客的这篇文章将展示Facebook的工程师完成这个艰巨任务所用到的一系列软件。

Facebook级别规模的挑战

在我们深入细节之前,先了解一组Facebook不得不面对数据,你就可以想象这种规模。

1.Facebook每月的PV量:630,000,000,000 (6万3千亿)

2.Facebook上的图片数量超过其他图片网站的总和(包括诸如Flickr这样的图片网站)

3.每个月有超过30亿的图片上传到Facebook

4.Facebook系统每秒可以处理120万张图片。这还不包括Facebook的CDN处理的图片。

5.每月处理超过250亿的信息内容(包括用户状态更新,评论等)

6.Facebook的服务器数量超过3万台(此数据为2009年的数据)

阅读这篇文章的其余部分 »

本文来自: [转] 揭秘全球最大网站Facebook背后的那些软件

RESTful.NET

<Category: .NET, 架构> Comments Off on RESTful.NET
Restful

View more presentations from medcl.

相关源文件:RESTful

本文来自: RESTful.NET

The Google File System中文版

<Category: 云里雾里, 分布式, 架构> Comments Off on The Google File System中文版
译者:alex

摘要

我们设计并实现了Google GFS文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上,但是它依然了提供灾难冗余的能力,为大量客户机提供了高性能的服务。
 
虽然GFS的设计目标与许多传统的分布式文件系统有很多相同之处,但是,我们的设计还是以我们对自己的应用的负载情况和技术环境的分析为基础的,不管现在还是将来,GFS和早期的分布式文件系统的设想都有明显的不同。所以我们重新审视了传统文件系统在设计上的折衷选择,衍生出了完全不同的设计思路。
 
GFS完全满足了我们对存储的需求。GFS作为存储平台已经被广泛的部署在Google内部,存储我们的服务产生和处理的数据,同时还用于那些需要大规模数据集的研究和开发工作。目前为止,最大的一个集群利用数千台机器的数千个硬盘,提供了数百TB的存储空间,同时为数百个客户机服务。
 
在本论文中,我们展示了能够支持分布式应用的文件系统接口的扩展,讨论我们设计的许多方面,最后列出了小规模性能测试以及真实生产系统中性能相关数据。
  阅读这篇文章的其余部分 »

本文来自: The Google File System中文版

小议 MySpace DataRelay

<Category: .NET, 分布式, 架构, 资源分享> Comments Off on 小议 MySpace DataRelay

最近看MySpace的DataRelay代码,有点抓狂(无文档、注释极少、缺少用例),DataRelay是MySpace开源的一个中间层框架,核心是一个支持插件的消息系统,内部使用了微软的CCR(Concurrency and Coordination Runtime,a component originally released as part of the Microsoft Robotic Studio)来作为消息的分发,包括3个核心组件:

  • Forwarder – This handles the actual moving of messages, both from client to server and between servers ,实现消息的不同服务器节点以及客户端之间的数据分发传递.
  • BerkeleyDB – This handles storing data, and is the component used for basic key/value caching,Oracle的KeyValue数据库,查询效率高,数据能够持久化到硬盘,支持多个节点来实现分布式缓存.
  • Index Cache – This is a two tiered indexed data system, for more advanced queries than simple key/value,通过创建索引数据并存储到BerkeleyDB,并通过Component在服务端进行计算筛选,来实现复杂的数据查询.

MySpace作为.NET架构最为成功的案例之一,确实有其过人之处,DataRelay提供了高性能的缓存系统和消息处理机制,并支持自定义计算Component组件,各组件支持Cluster,有完整的Replication和负载均衡机制,组件都是以windows服务的形式,可以非常灵活的进行部署,客户端与服务端使用Socket进行通讯,另外通过自定义组件可以提供更多的扩展,譬如缓存部分可以使用Memcached组件来替换等。

MySpace虽然开源出来了这套东西,但是好像不怎么上心,CodePlex上面连个像样文档都没有,扔上去的代码连测试用例都没有一个,想要用这套东西还真只能全凭看代码了。

CodePlex代码下载地址:http://datarelay.codeplex.com/SourceControl/list/changesets#

MIX 10上的演讲:Robots at MySpace: Massive Scaling a .NET Website with the Microsoft Robotic Studio (有CCR相关的介绍)  PPT下载

CCR at MySpacehttp://channel9.msdn.com/shows/Communicating/CCR-at-MySpace/

本文来自: 小议 MySpace DataRelay

豆瓣技术架构的发展历程 @ QCon Beijing 2009

<Category: 云里雾里, 分布式, 架构> Comments Off on 豆瓣技术架构的发展历程 @ QCon Beijing 2009

转,学习

现场视频:InfoQ: 豆瓣网技术架构变迁

本文来自: 豆瓣技术架构的发展历程 @ QCon Beijing 2009

Force.com的多租户架构 [转]

<Category: 云里雾里, 架构> Comments Off on Force.com的多租户架构 [转]

由于Force.com所负载的应用不论是在定制方面的灵活性上,还是所承受的负载上,对基于多租户的架构而言,都是史无前例的,导致之前提到的一些模型或者改动已经无法满足要求了,所以Salesforce在Force.com引入了通过Metadata(元数据)驱动的多租户架构来动态生成快速的,可伸缩的和可定制的应用。接下来,将一步步为大家揭开Force.com多租户架构的神秘面纱,首先是它的总体架构。

阅读这篇文章的其余部分 »

本文来自: Force.com的多租户架构 [转]