hadoop云存储能实现什么功能?基于Hadoop平台的云

发布时间:2022-05-20 12:11 来源:好主机 阅读:63 作者:新网知识社区 栏目: 服务器 欢迎投稿:712375056

  hadoop其实是一个有某个基金会所开发的一种分布式的系统基础架构,大家如果对分布式底层细节不太了解的话,也没有关系,还可以开发分布式程序,以充分的利用集群威力来做高速的运算和存储。而hadoop存储就是一个分布式的存储系统,我们可以在任何时候对文件做管理和下载等,下面就来具体说下hadoop云存储能实现什么功能?基于Hadoop平台的云存储解决方案是怎样的。


  hadoop云存储开发环境
  Hadoop2.x分布式环境;
  Eclipse;
  Tomcat7;
  JDK1.7;
  hadoop云存储主要技术
  HDFS-API的运用;
  JSP Servlet;
  Bootstrap框架渲染;
  系统B/S结构;
  MVC开发模式。
 
  hadoop云存储
  hadoop云存储实现功能
  对文件的管理,其包含对文件的删除,上传,下载,新建文件夹等;
  对后台系统的实现,包含用户登陆,系统退出等;
  后续待完善功能;
  增加用户注册以及用户基本信息修改功能;
  用户权限修改功能;
  文件分享模块。
  基于Hadoop平台的云存储解决方案
  (Cloud Computing)是一种基于因特网的超级计算模式,在远程的数据中心里,成千上万台电脑和服务器连接成一片电脑云。用户通过电脑、笔记本、手机等方式接人数据中心,按自己的需求进行运算。目前,对于云计算仍没有普遍一致的定义。结合上述定义,可以总结出云计算的一些本质特征,即分布式计算和存储特性、高扩展性、用户友好性、良好的管理性。
  1云存储架构图
  橘色的作为存储节点(Storage Node)负责存放文件,蓝色作为控制节点((Control Node)则是负责文件索引,并负责监控存储节点间容量及负载的均衡,这两个部分合起来便组成一个云存储。存储节点与控制节点都是单纯的服务器,只是存储节点的硬盘多一些,存储节点服务器不需要具备RAID的功能,只要能安装Linux即可,控制节点为了保护数据,需要有简单的RAID level O1的功能。
  云存储不是要取代现有的盘阵,而是为了应付高速成长的数据量与带宽而产生的新形态存储系统,因此云存储在设计时通常会考虑以下三点:
  (1)容量、带宽的扩容是否简便
  扩容是不能停机,会自动将新的存储节点容量纳入原来的存储池。不需要做繁复的设定。
  (2)带宽是否线形增长
  使用云存储的客户,很多是考虑未来带宽的增长,因此云存储产品设计的好坏会产生很大的差异,有些十几个节点便达到饱和,这样对未来带宽的扩容就有不利的影响,这一点要事先弄清楚,否则等到发现不符合需求时,已经买了几百TB,后悔就来不及了。
  (3)管理是否容易。

  2云存储关键技术
  云存储必须具备九大要素:
  ①性能;
  ②安全;
  ③自动ILM存储;
  ④存储访问模式;
  ⑤可用性;
  ⑥主数据保护;
  ⑦次级数据保护;
  ⑧存储的灵活;
  ⑨存储报表。
  云计算的发展离不开虚拟化、并行计算、分布式计算等核心技术的发展成熟。下面对其介绍如下:
  (1)集群技术、网格技术和分布式文件系统
  云存储系统是一个多存储设备、多应用、多服务协同工作的集合体,任何一个单点的存储系统都不是云存储。
  既然是由多个存储设备构成的,不同存储设备之间就需要通过集群技术、分布式文件系统和网格计算等技术,实现多个存储设备之间的协同工作,使多个的存 储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。如果没有这些技术的存在,云存储就不可能真正实现,所谓的云存储只能是一个一个的独立 系统,不能形成云状结构。
  (2)cdn/' target='_blank'>CDN内容分发、P2P技术、数据压缩技术、重复数据删除技术、数据加密技术
  CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过各种数据备份和容灾技术保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。如果云存储中的数据安全得不到保证,也没有人敢用云存储了。
  (3)存储虚拟化技术、存储网络化管理技术

  云存储中的存储设备数量庞大且分布多在不同地域,如何实现不同厂商、不同型号甚至于不同类型(例如FC存储和IP存储)的多台设备之间的逻辑卷管 理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题,这个问题得不到解决,存储设备就会是整个云存储系统的性能瓶颈,结构上也无法形成一个整体,而 且还会带来后期容量和性能扩展难等问题。


  hadoop云存储能够实现什么样的功能?以上就给大家简要的介绍了关于hadoop和功能方面的问题,hadoop云存储使用的技术比较多,它具有多种功能,比如文件管理,分享文件模块等,另外,对于hadoop云存储的解决方案,大家最好也要了解一下,如有疑问,可以咨询特网。


免责声明:本站发布的内容(图片、视频和文字)以原创、来自本网站内容采集于网络互联网转载等其它媒体和分享为主,内容观点不代表本网站立场,如侵犯了原作者的版权,请告知一经查实,将立刻删除涉嫌侵权内容,联系我们QQ:712375056,同时欢迎投稿传递力量。