学位论文 > 优秀研究生学位论文题录展示

分布式文件系统客户端关键技术研究

作 者: 桂莅
导 师: 冯丹
学 校: 华中科技大学
专 业: 计算机技术
关键词: 分布式文件系统?客户端?缓存?性能
分类号: TP316.4
类 型: 硕士论文
年 份: 2013年
下 载: 23次
引 用: 0次
阅 读: 论文下载
?

内容摘要


互联网技术的发展日新月异,已经在不知不觉之间渗透到我们生活中的方方面面,与此同时产生了海量数据且仍在不断快速增长。要存储和处理这些海量数据,需要借助于大规模分布式集群,并利用分布式文件系统进行存储。分布式文件系统是大数据访问和分析必不可少的工具。分布式文件系统作为用户使用和管理分布式文件系统的入口,向用户提供了整个文件系统的抽象,屏蔽了用户使用分布式文件系统时在客户端、元数据服务器和数据服务器之间各种复杂的交互通信和处理逻辑。分布式文件系统客户端在设计实现上采用的方案是否合理与完善,会在很大程度上影响文件系统整体的性能和可靠性。分布式文件系统中,如果元数据服务采用了树状目录的名字空间管理方法,会带来深目录的元数据请求效率不高的问题;如果读写策略不恰当会带来读写速度较慢的问题,合理设计的客户端能帮助解决这些问题。在分析分布式文件系统客户端需求的基础上,设计实现了分布式文件系统RaccoonFS的客户端,并针对深目录元数据请求效率问题和单客户端读写速度性能问题,经过分析后提出和研究了解决这些问题的关键技术,通过添加客户端的元数据缓存优化元数据服务器的名字空间查询和对数据服务的异步读写等方案,提高了RaccoonFS整体的性能与可靠性。元数据操作测试表明:优化后的RaccoonFS客户端对深目录文件元数据的写入效率在最差情况下提升至少15%;RaccoonFS的元数据操作速度优于HDFS。单客户端文件数据的写速度提升3倍,而读数据的速度至少提升30%。以上结果表明,所提出的RaccoonFS客户端关键技术对元数据操作和数据操作的性能优化显着。

全文目录


摘要??4-5
Abstract??5-7
1 绪论??7-11
??1.1 课题背景??7-8
??1.2 国内外研究现状??8-9
??1.3 主要工作和论文组织结构??9-11
2 分布式文件系统客户端的总体设计??11-22
??2.1 常见分布式文件系统客户端相关技术??11-15
??2.2 分布式文件系统 RaccoonFS 总体架构??15-17
??2.3 RaccoonFS 客户端总体设计??17-18
??2.4 客户端模块构成??18-21
??2.5 本章小结??21-22
3 RaccoonFS 客户端关键技术实现及优化??22-38
??3.1 客户端缓存实现??22-24
??3.2 元数据服务器名字空间管理优化??24-30
??3.3 客户端对数据服务器的读写优化??30-37
??3.4 本章小结??37-38
4 测试与结果分析??38-48
??4.1 测试环境??38-39
??4.2 测试结果与分析??39-46
??4.3 本章小结??46-48
5 总结与展望??48-49
致谢??49-50
参考文献??50-52

相似论文

  1. 稀土元素掺杂Ca3Co4O9与Ag复合材料的制备及热电性能,TQ174.1
  2. 含苯并恶唑新型半芳香聚酰胺的合成与表征,O633.5
  3. 基于酚醛树脂活性炭的制备及负载TiO2吸附—光催化性能,TQ424.19
  4. PBO/SWNT复合纤维的制备及结构与性能研究,TQ340.64
  5. TZ3Y20A-SrSO4陶瓷基复合材料的制备及摩擦学性能,TB332
  6. 溶胶—凝胶AAO模板法制备ITO准一维纳米结构,TB383.1
  7. (ZrB2-ZrO2)/BN复合材料的反应热压烧结及其力学性能,TB332
  8. 超低碳贝氏体钢CO2激光-GMA复合焊接特性研究,TG456.7
  9. Mg-Zn-Y-Zr镁合金的组织结构和力学性能,TG146.22
  10. 纳米稀土硬质合金YG11R的成分与工艺优化及磨损研究,TG135.5
  11. 粉末活性炭—超滤工艺处理微污染地表水试验研究,X703
  12. 液力减速器制动性能及用于飞机拦阻的仿真研究,TH137.331
  13. 变轴向间隙对采用直、弯静叶压气机性能影响的数值研究,TH45
  14. 常温低温组合密封结构的有限元分析与优化设计,TH136
  15. CMOS星敏感器图像采集系统研究,V448.2
  16. 微粉的粒度组合对水泥混凝土性能的影响,TU528.041
  17. 空心阴极特性及对霍尔推力器特性影响的实验研究,V439.2
  18. 锂离子电池硅碳负极材料的制备与性能研究,TM912.9
  19. 低轨卫星移动信道特性模拟硬件实现,TN927.23
  20. PXI高性能数字I/O模块研制,TP274
  21. 功能配位聚合物的脲热合成、结构与表征,O631.3

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机软件 > 操作系统 > 分布式操作系统、并行式操作系统
? 2012 www.xueweilunwen.com