分布式存储架构实践

发布时间:2021-09-25 19:51:27

58

58

# 2012'04'07#

#

?? ??

####### #######
??

,

# # #

#

####### ####### RAS( ####### , #######58 system,hadoop)# # #

!
);#

(mysql,mongodb,?le#

?? ??

# #

#

# # # SoK#state #### ### #,# # #

CAP#:##Consistency##Availability#ParHHon#tolerance#

#####################BASE##:Basically#Available #####################Eventually#consistent #####################ACID## #####################I/O ###################Amdahl ################# ## ## # Gustafson

Amazon##2011

Amazon#S3

5000

#

######## :#SimpleDB# #Dynamo# !* 1400 * 2.5 *,* 100PB(1PB=1024TB,HBase 1350 # #### :##* ##HayStack,##cassandra hbase# Google###2008 # 1 ##### :##Google#Megastore#,##GFS,#bigtable# Zynga!!Draw#Something 1 5 ###### # :#Couchbase###vs#EA#The#Simpsons## # 3 5 3000 #

#

?? ?? ?? ?? ?? ??

# # # # # #

! ! C10K !

!
! ,C500K C**K !

#s:1#,#c:1#,#bio;#

!

#

#s:1#,#c:n#,#nio##; ## #seda#:Staged#Event'Driven#Architecture# #Select#( )# #epoll# #callback # # :##I/O #: ##########DRM #

!!

## (

CPU#

# )

,

# #

#

Neay#,#Mina #libevent #

!

libev,#ACE ASIO#

!!!!!!!!!!!!!!!!!!

IO

!

#

!

# Consistent#hash,#( #)# # # B+#tree#,#( , )# # # LSM#tree,##( # )# # # # # Bitmap##(bloom#?lter# )###Dynamo,hbase# Merkle#Tree#( )###Dynamo# Skip#List##(# #lsm )#####leveldb# prio_tree##( ####mmap)##mognodb##

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!consistent!hash!!

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!B+!!!tree!

!!!!!!!!!!!!!!!!!!!!!!!!!!cassandra!

!

!!!!!!!!!!!!!!!!!!!!!!!!Lsm!!tree!!

###############################Merkle#Tree#

!
1?

#

Master_slave#;#P2P(

)#

# # ###

! !

###

#

#MVCC## # #512,#

## 4k#,#

#,paxos # #4k##mtu##1500#

!

#:#k_means#

!

??

Dynamo##### ########Merkle#Tree# memcached###

#,####BT

#

??

###############linux# ###########

##+#libevent##+#(consisten#hash#)#

?? ?? ??

# Kiss #,# RAS# , # #

58

mysql,mongodb,?le#system,hadoop

!!!!!!!!!!!!!!!

1## # ########### ## # ########### ## # ########### ### ########### # # 2# # # ######1#CAP #,#BASE /ACID# ######2# ##B+#or#LSM# ######### # ####### 3# # ########Mongodb # #

!
## ##table#,#object## #

##

#

#B+#or#LSM#

!!!!!!!!!!!!!!!!!!
###############unix# #

!
#

!kiss!

RAS:#Reliability,#Availability,#Scalability# # R: ###:#Qos,#( )# A:# #? # # S## #?# # ##a# #b# hash##c#B+##tree# #

:!RAS!

#

#

!!!!!!!!!!!!!!!!
* ###### ###### ############# #

, ! !
## SSD #?#cdn# # ,

!
,##

SAS

SATA#

!
#

,###

CPU #

!!!!!!!!!!!!!!!!!!!!!!!!!!!*

!

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!cdn

!

!!!!!!!!!!!!!!!!!!

!

??

:##

################search#engine(index)#+Mysql#(shard#+#M/S)+#memcached## ####### #:#infoid#%#dbNum# #################infoid# :##local#Hmes#+##ip(mac)#+#pid# ################Memcached# #90% # :######## ####### ( ):##~10 ,##20K#qps# 256#dbs#
?? ??

# #####

## # 2 # ,# log?le, ''> # # ;#

########
??

#####

# #################

??

#mongos#+#auto#sharding

#

######## ########

:#(mysql#+#memched)#→##mysql+#( )''>cassandra''>redis''>#mongodb( )# :appid+appinforid##==#_id## :# , , #

##Mongodb

# message#:#~2 # ######################Steps#:# :##~10 ,##10kqps,#10ktps,## !:#### ###########1#shard#key# Steps inforid#,#message#:#userid# ##########2##range(sql)to#kv# range#to#kv##( msgcount);sql#to#kv( ####3##key# #################
??

)# )##

#;#4##

#5#

mongos(

!:###cdn#(Squid)#+#(lvs)+#Ngix#( , #by#GraphicsMagick)# +hapServer( #webdav,sso)#+##simple#GFS(master'slave)# ####### ####### ####### #:##rest URI # # #+## ; #+ # chunk### # #

Block#Size#128M#(opHon)#,##>8M#

###########Resoul##:#hap://*..58control.cn/n_1817278286***.jpg# :###total#10t##,##100G/add#;#500w#;##20:1#(r:w);#1000iops# !:## ######## ######## #:## ####### ################# # ## ;# #

## ####### ####### ####### #

Hadoop

! ;# ;#log#?le#;# ; # , )#→#hap#Server#''>udp#Server#''> # .# .# # #→#

;##HBASE #js#,#udp #,hap#

####### ####### :Js( hadoop#''> #######Drm ####### ;!

### GG>spark,S4,hama ;! #####!!MpI(scala)!;ESB; ;! #################

! ! !!!!!!!!! ! !

hOp://weibo.com/zhuozhe! xuzh@58.com!

Q&A!

!

!

关注我们:t.baidu-tech.com 资料下载和详细介绍:infoq.com/cn/zones/baidu-salon
“畅想?交流?争鸣?聚会”是百度技术沙龙的宗旨。 百度技术沙龙是由百度与InfoQ中文站定期组织的线下技术交流活动。目 的是让中高端技术人员有一个相对自由的思想交流和交友沟通的的*台。主要分讲师分享和OpenSpace两个关键环节,每期 只关注一个焦点话题。 讲师分享和现场Q&A让大家了解百度和其他知名网站技术支持的先进实践经验,OpenSpace环节是百度技术沙龙主题的升华 和展开,提供一个自由交流的*台。针对当期主题,参与者人人都可以发起话题,展开讨论。

InfoQ 策划·组织·实施
关注我们:weibo.com/infoqchina


相关文档

  • 分布式存储架构
  • 分布式存储服务架构图
  • 分布式存储及应用系统架构分析
  • 大规模分布式存储系统:原理解析与架构实战
  • 高可用分布式数据库系统架构实践
  • MogileFS 分布式存储架构图
  • 龙兴*_分布式存储系统架构
  • nosql_分布式存储及应用系统架构分析
  • 猜你喜欢

  • 戴蓝牙耳机手机可以充电吗
  • 2011吉林省农村信用社考试试题财会(必备资料)
  • 新安煤矿下向导硐法揭煤技术分析
  • 2019年云南昆明中考成绩查询时间:7月16日
  • 广东省东莞国药集团长安医药有限公司龙泉路药店企业信用报告-天眼查
  • 政治家名人故事:陈毅拜师的故事-作文
  • 上海上德货物储运有限公司厦门分公司企业信用报告-天眼查
  • 最新弱电智能化规范大全(更新至)
  • 横山镇中心小学学生心理危机应急干预预案14-15学年
  • 基于在线式配网线路电流监测的用电计量方法的研究 科技项目申请书及可行性研究报告
  • 江苏省教育厅关于做好2010年中小学暑假工作的通知
  • 南开大学高等数学课件1.3导数与微分
  • 2015年版质量管理体系内审检查表
  • 非煤矿山员工安全知识读本组—充填采矿法及安全要求
  • 保距变换和仿射变换.ppt 27页PPT文档
  • 一帆风顺耐寒吗
  • 结婚2人不同地方怎么办
  • 如何妥善备份你的以太坊钱包?
  • 2017-2022年岢岚县PPP模式市场机会分析报告(目录)
  • 狗能不能吃肥肉
  • 浮山县金龙铁矿有限公司企业信用报告-天眼查
  • 如何提高营销的传播效率 传播读书快乐,提高阅读效率
  • 禹州市天源电气有限公司(企业信用报告)- 天眼查
  • 深圳宝安区西乡街道共乐小学温展钜
  • 20XX年10月入党积极分子思想总结:加深了对党的了解和认识
  • 公司普通员工个人年终工作总结
  • 2017-2021年中国工程起重机行业发展前景预测及投资分析报告
  • 20XX年早安晚安祝福短信
  • 万圣节晚会作文300字
  • 2019精选教育四年级下册信息技术教案315设计制作标志| 浙江摄影版(新).doc
  • 广州凯盛文化传播有限公司企业信用报告-天眼查
  • 客户档案管理工作流程
  • 郑州尚诺文化传播有限公司企业信用报告-天眼查
  • C语言程序设计实验报告模板
  • 2018秋七年级数学上册期末复习三一元一次方程同步作业课件新版新人教版
  • 专题9.1 功和功率(测试)-2019年中考物理一轮复*讲练测课课通(原卷版)
  • 园林工程绿化造价的经济管理意义研究论文
  • Proof of the Monotonicity of Grid Size and Its Application in Grid-Size Selection for Mes
  • 团队推荐表国家级教学团队
  • 秋天的果实六年级写景作文300字
  • 局域网内其它电脑如何找到共享打印机并使用
  • 论企业战略中管理会计的时间管理观(一)
  • 电脑版