存储需求方案---视频网站存储需求

 

 

 

 

 

XXX视频网站存储需求

解决方案

 

 

 

 

 

 

 

 

 

 

某某公司

2011年4月

 

 

第一部分：XX视频网站数据中心存储原始需求

 

视频网站的数据主要来自用户上传的视频，一般需要支持多种视频格式上传，再转换成网站统一的格式（FLV）。由于用户数量不断增加，上传的视频爆炸式的增长，高清视频造成码流高，用户访问实时性强，现在存储比较吃力，经常单点故障。目前采用的是NAS，SAN。存储IBM、EMC、DELL中端。

数据类别和名称：

最主要就是视频文件。

需求难点：

目前的存储量量大约45TB，增长率近一年来大约是7%每月。用户上传的文件要求能够迅速的转换格式，进行审核，并在网站发布。基本上所有的数据文件都需要在线存储，时间比较远的数据文件对访问响应时间可以比较慢，但较新的数据文件（一年以内上传的）要能迅速浏览。

1、     重复数据很多，没办法一一删除。

2、     设备管理复杂，需要进行虚拟化部署。

3、     各服务器（上传、转换、流媒体）之间共享文件。不但跨服务器，还要跨平台。

4、     负载均衡。

5、     稳定

6、     性价比高

7、     能实现自动分级存储。

 

第二部分：XX视频网站数据中心存储需求解决方案

 

方案介绍：

为了解决以上问题，建议使用 IBM XIV网格存储做虚拟化。目前某视频网站的存储量大约45T，增长率每月增长7%用户上传的文件要求能够迅速的转换格式，进行审核，并在网站发布。基本上所有的数据文件都需要在线存储，时间比较远的数据文件对访问响应时间可以比较慢，但较新的数据文件（一年以内上传的）要能迅速浏览。飞速增长的数据业务所带来的存储容量与存储管理就成为了一大难题。

然而，IBM XIV系统的大规模并行架构、对所有系统组件(包括磁盘、CPU和交换机)的充分利用和独一无二的缓存架构全都会转变为成卓越的性能，所有组件共同承担同一工作负载，保证了优异的性能和可靠性。XIV有两个最根本的特点，第一是XIV基于网格架构。第二是即插即用的设计，就像一个电源一样，可以即插即用，插在墙上就用。第二点相对而言比较好理解，而第一点所谓基于网格的存储，是指当数据量在增长的时候，当整个存储需求提高的时候，能够保证有一个一致的性能表现和功能实现。VIX就像交通管理， 最大的目标不是在于交通堵不堵，而在于你是不是有一个一致性的从A点到B点的时间。假如今天我上班，从我家到公司，需要30分钟，我期望每天都是30分 钟，最害怕的是有时候你是20分钟到达公司，有时候需要一个小时甚至两个小时到达公司，所以你没有办法去计划。同样，这跟数据流量和存储是息息相关的，这是很明确的，从存储设计来讲的话，怎么能够保证一致的性能是非常关键的。XIV在保证性能一致性上，以及高可靠性、节能节电、省空间等方面都有着较好的设 计理念。此外在易于管理降低整体系统成本上都有着较明显的优势。

XIV系统使用SATA磁盘驱动器，采用最新SATA技术来实现巨大容量、高密度和低功耗。它利用XIV独一无二的架构和缓存方案来提供甚至优于光纤通道磁盘系统的出色性能。XIV技术支持全方位的可扩展性，包括存储、接口、缓存、CPU功率和内部带宽。XIV架构支持每个方面的独立扩展，使系统在容量和性能方面实现真正的可扩展性。另外XIV 通过Scale‐Out MPP架构的横向扩展方式带来了高性能。传统存储系统只是通过更快的CPU、更快的控制器、更大的缓存来提高存储能力，瓶颈显而易见。IBM XIV 每个节点都具备强大的性能，并且通过Scale‐Out 扩展方式，使得所有节点组成集群，从而让整个存储系统的性能大幅提升，同时，数据迁移、重建、扩容、快照、远程复制等功能都能够在XIV 上得到很好的应用。XIV 通过扩展节点的方式，使得整个存储系统获得了传统存储系统无可比拟的性能，诸如快照、数据迁移、远程复制这些应用都能很好地运行在存储系统上。”

伴随着视频网站的发展，每日网站上存放的视频也是在不断的增加。庞大的数据量也带来了大量的，不同类型的数据，而这些数据的整合与管理就成为突出的难题。用户注册，搜索等主要是结构化数据，通常访问量大，对存储的性能和稳定性都有着很高的要求。而以上传视频以及转换视频格式等多媒体数据为主的数据，数据量庞大，增长迅猛。这些不同的数据类型特点，给某视频网站的存储整合造成了极大的难度，而用户迫切的希望能够解决存储整合的难题。IBM XIV存储性能自动化的均衡方式从根本上解决了这些问题。传统的存储系统都通过集中化全局内存以及集中化的专用控制器，来达到数据的分配和存储。IBM XIV则是由多个单元网格组成，每个单元网格都具有CPU处理能力，缓存能力和存储能力，借助智能算法，系统将数据自动均衡地存储到后端所有磁盘上。后端所有的计算单元，磁盘都处于同一个状态，不会出现传统存储系统那种数据分配不均衡的状况。

由于某视频网站不能想银行业、电信业那样，游泳一批高端的技术团队，以及自己不会太宽裕，因此要求在构建存储系统的时候还得考虑到存储系统管理是否方便，以及是否易于维护等方面的因素。IBM XIV非常易于管理，简洁直观的图形用户界面使系统管理员能够轻松地对系统进行全方位管理和监视，几乎无需学习过程。XIV系统还具备只适应调整功能，可以时时在后台向所有主要硬件组件自动分发数据。这极大地减轻了管理任务，使系统能够在容量、配置或应用行为变化过程中得到最佳调整。强大而直观的管理环境，实现易管理型存储空间。差异性快照进一步节省了磁盘空间。最终结果就是提高了磁盘容量利用率和能够以比传统系统更少的磁盘空间满足相同的需求。通过以上的剖析，充分说明了XIV的性能非常出色，IBM XIV可以帮助媒体网站解决诸多疑难杂症，从而在数字媒体网站的道路上越走越畅。