首页 >  硕士论文 > 计算机硕士毕业论文 >   正文

基于蓝光存储的异构云存储计算机平台设计与研究

添加时间:2018-03-03 16:11:41   浏览:次   作者: www.dxlwwang.com
专业论文资料, 搜索论文发表论文代写论文网为你解忧愁!详情请咨询我们客服。
获取免费的论文资料? 欢迎您,提交你的论文要求,获取免费的帮助

本文是一篇计算机论文,计算机工程(也称为电子和计算机工程或计算机系统工程)是一门学科,结合了电气工程和计算机科学的内容。 计算机工程师正电气工程师有更多的培训领域的软件设计和硬件,软件一体化。反过来,他们注重减少对电力电子学和物理学。电脑工程师都参与了许多方面的计算,从设计的个别处理器,个人电脑,和超级计算机,到电路设计。这一工程的许多子系统监控机动车辆。(以上内容来自百度百科)今天为大家推荐一篇计算机论文,供大家参考。

 
第一章 绪 论
 
1.1 研究工作的背景与意义
在当今信息科技时代,计算机从人们生活的各个方面收集数据。在银行、医学、航天、教育等众多行业,数据以惊人的速度增长。数据的快速增长不仅体现在数据量方面,还体现在数据产生方式以及数据种类方面,越来越多的数据产生方式,造就日益增多的数据种类。例如:人们每天使用的微信、微博、即时通信、短信、电话、浏览网页的记录甚至是每个页面点击行为都会被记录下来。同时随着各行业越来越重视大数据应用,更多的企业步入数据生产和采集行业,数据产生方式进一步增多。预计到 2020 年全球数据总量达到 44ZB[1](1ZB 约为 343.6 亿部 32G 智能手机的存储容量)。目前的数据增长速度,是对数据组织和管理的一个不小挑战。存储管理者越来越关心如何有效地管理和存储海量数据,如何控制存储成本的不断增加,如何提供更加安全、高效的存储服务。随着存储软硬件技术的发展,数据存储介质呈多样化局面,磁带、磁盘、光盘、Flash Memory(闪存)等多种存储介质并存。按照读写性能从高到低排序,依次是闪存、磁盘、光盘、磁带。而按照单位容量价格排序,从高到低依次是闪存、磁盘、光盘、磁带。性能越优的存储介质,其价格越贵。目前云存储提供商的存储介质大多是以磁盘阵列为主,而在磁盘阵列中,磁盘损害的概率很高,平均寿命约为 5 年,5 年后损坏率还会大大提升,因此云存储中心的数据每 5 年就要转移一次,这样无疑增加了存储成本,并且繁琐的数据转移操作加重了数据管理的难度,数据转移过程中也容易出现数据丢失、数据损坏等情况。数据中心需要根据不同的存储设备的性价比,组成高、中、低存储层次的分级存储系统,为应用提供海量的存储服务,同时在不影响数据读写效率的情况下降低总的存储成本[2]。
.........
 
1.2 国内外研究历史与现状
云存储是云计算基础之上衍生的一个新概念[5],与传统存储方式相比较,它具有成本低、易接入、扩张性好等特点。近年来,各大 IT 巨头也纷纷加入云存储领域,提供云存储服务。在存储市场上,更多的企业和用户偏向使用云存储服务,而不是传统存储方式。亚马逊公司(Amazon)在 2006 年开始推出云存储服务 S3(Simple Storage Service[6]),即简单存储服务。通过充分利用闲置且廉价的硬件资源,使存储服务的成本降低,因此 S3 迅速获得大量市场。微软早在 2007 年推出个人网络硬盘服务 Windows Live SkyDrive,后来更名为 OneDrive,也就是人们广泛使用的微软网盘。用户通过登录 Windows 操作系统即可免费使用 5GB 的存储空间,通过 PC、平板电脑甚至手机共享云存储空间,用户可以方便快捷的传输资料和文件。苹果公司 2011 年推出 iCloud 在线存储服务,解决其终端用户的图片、文档、通讯录、短信等重要文件的备份。在美国, iCloud 是终端消费者使用量最大的云存储服务。在国内,云存储领域也受到广泛关注,华为在 2010 年进入云计算领域,成立IT 产品线,主要研发云计算和云存储服务,已开发了华为网盘、基于 OpenStack的云操作系统[7],对象存储服务等。各大互联网公司推出自己的云计算产品,阿里巴巴是国内云计算生态圈中做的最好的公司,在 2009 年成立阿里云部门,至今推出云服务器、对象存储、云安全、数加平台、分布式计算等各式各样的云服务。腾讯公司也推出腾讯云,针对用于企业、消费者用户提供各类服务。在个人网盘市场上,腾讯推出微云,解决其数量庞大的 QQ、微信用户聊天时发送的视频、音频、图片等文件。360、电信、百度、新浪等纷纷推出个人网络硬盘服务,占领个人网盘市场。但是随着个人存储使用用户的增多,各大存储服务公司的存储成本不断增高,在 2016 年,各大网盘服务提供商陆陆续续暂停个人网盘业务,这给消费者带来巨大的损失。
.........
 
第二章 相关理论和关键技术
 
2.1 云存储理论与相关技术
云存储区别于传统的存储方式,是云计算与数据存储的结合。通过应用软件协调和统一管理数据中心以及网络中的各种异构存储设备,使各种异构存储设备紧密连接,构成一个海量的数据存储池,给外部应用程序或用户提供良好的数据存储服务[19]。云存储主要特点有:(1)可扩展性,当存储容量不足时,通过在服务器集群中添加一台新的服务器即可。(2)数据安全性高,采用冗余备份方式,将数据拷贝到不同地区的异构存储设备中。(3)按需分配、较传统存储成本低,根据用户需求使用存储空间,成本相对较低。(4)用户易接入,随时随地通过互联网接入。如图 2-1,用户可以根据喜好选择各式各样的设备接入云存储服务。无论何时何地,网络用户通过用户名密码认证通过即可享受云存储服务,通过手机、PC、平板电脑等网络设备共享存储空间,方便用户在各设备之间文件存储和共享。存储层中的存储设备主要特点是数量庞大、分布广以及存储原理大不相同。采用公共网、专网等途径将这些异构存储设备有机结合,构成一个海量的数据存储池。云存储设备管理系统位于存储设备之上,其目的是统一管理云存储系统中的各种异构存储设备,实现设备的存储虚拟化,设备运行状态的实时监控、及时的故障维护[21]。云存储系统中,存储层是数据管理与服务的基础,是数据真实存储的地方。
.........
 
2.2 蓝光光盘存储技术
目前用于存放数据的存储介质主要有磁带、磁盘、光盘、固态硬盘。由于各个存储介质的存储原理不同,所以各存储介质存取过程也不尽相同。在云存储系统中,需要理解和对比各个存储介质具体特性,将合适的数据放在合适的存储设备中,并根据数据特征通过调度机制将数据在存储存储设备之间来回调度,从而提高存储系统的整体性能。随着存储技术的发展,存储介质发展的总体方向一直是朝着容量大、低价、高读写速率。但是,各个存储介质在速度、容量、价格等方面有各自的特点。所以对比各个存储介质各自特点具有现实意义。固态硬盘(Solid State Disk ,SSD)主要的技术工艺是固态电子存储芯片阵列。固态硬盘的优点是:读写速率相对于机械硬盘更快,并且持续写入的速率更快;固态硬盘设计原理上没有使用机械部件,具有良好防震抗摔性,即使在高速移动或倾斜的情况下,固态硬盘也表现出良好的使用性能;能耗较低;无噪音;可在较大温差范围内工作;体积小、重量轻。固态硬盘的缺点是:成本高、容量小、寿命短。表 2-1 是几种存储介质的平均市场售价,可以看出,固态硬盘成本明显高于其他存储介质。目前,越来越多的笔记本使用小容量的固态硬盘作为存储设备。使用固态硬盘、机械硬盘的双硬盘配置在笔记本、服务器上也越来越多。
...........
 
第三章 基于用户行为的冷热数据区分的研究......... 18
3.1 冷热数据划分方法的研究 ........ 18
3.2 基于用户行为的冷热数据区分模型 .......... 21
3.3 实验验证 ............ 26
3.4 本章小结 ............ 30
第四章 基于蓝光存储的迁移过程研究..... 31
4.1 数据迁移方向 ........ 31
4.2 数据迁移条件 ........ 32
4.3 基于蓝光存储的迁移过程 ........ 33
4.4 迁移过程数据一致性 ............ 37
4.5 本章小结 ............ 41
第五章 基于蓝光存储的异构云存储平台的设计与实现........... 43
5.1 异构云存储平台架构设计 ........ 43
5.2 平台环境搭建 ........ 46
5.3 服务层功能模块设计与实现 ...... 47
5.4 应用层设计与实现 .... 57
5.5 本章小结 ............ 59
 
第五章 基于蓝光存储的异构云存储平台的设计与实现
 
本章节是在前面几章研究的理论及技术的基础之上,对云存储平台的具体设计与实现。该云平台是一个“在线——近线”分级存储系统,主要以用户行为分析结果区分冷热数据,将热数据存放在磁盘为主的分布式文件系统中,将冷数据存放在蓝光光盘库中。
 
5.1 异构云存储平台架构设计
本文是在分布式环境下构建的数据分级存储平台,利用磁盘优良的读写性能和蓝光光盘库大容量特点,充分利用磁盘的存储效率,降低系统存储成本。用户使用 PC 或移动终端通过浏览器登录到该平台。平台向用户提供安全、可靠、稳定的文件存储服务,整体架构如图 5-1 所示。该云存储平台中文件的实际存储设备分为Hadoop集群和蓝光光盘库两部分。web 服务器作为客户端与 Hadoop 集群和蓝光光盘库进行文件交互,数据库服务器采用非关系型数据库 MongoDB,管理服务器提供元数据管理。本云存储平台主要以浏览器/服务器(B/S)的模式对外提供云存储服务,用户可以方便快捷地使用浏览器享受存储服务。本文的云存储平台是层次化的结构模型,如图 5-2 所示。从下往上分为三层,依次是:存储层、服务层、应用层。存储层是数据实际存放的位置,结合软件和硬件对上层提供读写服务,构成了一个“在线——近线”的分级存储系统,一个是基于磁盘存储介质的 Hadoop 集群,通过使用集群的方式,构建一个在线存储系统。另一个是基于蓝光光盘存储介质的蓝光光盘库,蓝光光盘库是集光盘读写、光盘虚拟化技术、web 服务的一整套近线存储系统。
\
.........
 
总结
 
随着信息数据的爆炸式增长,云存储系统以价格低廉、可靠性强、安全性高等优势成为当今企业和个人用户数据存储的主要选择。云存储服务商在构建自身数据中心时,追求低存储成本,高稳定、高可靠的服务,通过构建分级存储系统,选择不同的存储介质存储不同价值的数据,从而提高存储设备的利用率。然而当前的分布式存储系统,大多是由磁盘阵列为主,对比光盘存储介质,磁盘阵列在单位容量价格上远远超过光盘。随着信息理论研究的深入,在生命周期中的不同阶段,数据具有不同的访问频率,表现出不同价值。结合数据中心存储数据的特点,发现超过 80%的数据是极少访问的,这一现象给数据分级增加了实际意义。本文在学习和借鉴国内外已有的研究成果基础之上,对数据区分相关理论和算法做了深入研究,设计和实现了基于用户行为的数据区分模型,并在此基础上设计一个“在线——近线”分级存储平台,采用磁盘阵列作为在线存储设备,用于存放热数据;采用蓝光光盘库作为近线存储设备,用于存放冷数据。本文具体的工作包括以下几点:
(1)对数据区分技术进行深入研究和分析,从用户的角度出发,对用户行为日志进行分析,建立基于用户行为的数据区分模型,首先通过日志计算文件在每个时间序列的数据价值,然后并采用指数平滑法预估文件当前价值,有效地考虑了数据不同时间序列上的价值。
(2)对数据迁移过程深入研究,并分析了基于蓝光光盘库的数据迁移过程,考虑到光盘库系统读写操作流程的不一致,在迁移过程控制中,将迁移队列分成为升级迁移队列和降级迁移队列,优先迁移升级队列,其次迁移降级队列。详细分析迁移时用户访问的情况,系统阐述迁移过程中数据一致性问题,通过引入元数据来保证迁移过程的高效和数据一致性。
(3)构建了由磁盘和蓝光光盘库组成的“在线——近线”的异构云存储平台,磁盘上使用分布式文件系统 hdfs 存储文件,根据本文提出的数据迁移模型实现云平台的数据迁移,从而将冷数据迁移到蓝光光盘系统中,热数据保留在 hdfs中,为每个文件创建了元数据,并由元数据服务器进行统一管理。并针对用户开发了可视化的云存储服务,用户可以通过浏览器享受该平台的存储服务。
..........
参考文献(略)

提供海量毕业论文,论文格式,论文格式范文,留学生论文,商务报告相关资料检索服务。
本论文由代写论文网整理提供 http://www.dxlwwang.com/
需要专业的学术论文资料,请联系我们客服
本文地址:http://www.dxlwwang.com/jsj/6611.html
论文关键字:计算机硕士毕业论文 异构云存储 冷热数据