大数据备份归档系统
项目背景:
随着5G+8k 的到来,数据越来越庞大,而且数据越来越重要,关于数据的管理,备份,归档也就越来越重要, 随着业务开展,中广天择节目制作积累了大量的影视节目数据文件,但随着时间推移,大量历史影视节目数据的访问频度变得越来越低,但基于业务部门要求,这些节目数据不仅需要长久保存,更能随时调阅,所以建立一套可以长期使用的高效、可靠、节能、维护成本底的数据存储平台非常有必要,其系统需满足以下基本要求:
针对媒资系统的数据存储平台,在线可被直接访问节目数据的存储容量为200TB,历史归档数据量为300TB,这些历史归档数据在进行存储时需要保存两份
采用万兆网络方式实现在线存储数据和历史归档数据的共享访问
存储平台需要具备极强的扩展能力和节能效果,确保逐年递增的节目数据的管理需求,包括在线存储及归档管理需求。
案例简介:
天择传媒成立于2007年,是长沙广播电视集团国有控股的全媒体视频内容制作与营销公司,主营除新闻外的电视、互联网和手机电视等视频内容的制作、发行和营销;以自主生产的视频内容为核心的衍生价值的开发;大型商业活动、娱乐活动、文化活动的策划、实施和衍生价值的开发。2013年10月,“湖南长广天择传媒有限公司”完成股份制改造变更为“中广天择传媒股份有限公司”。2015年12月22日,国家广播电影电视总局《中国广播影视》杂志社主办“TV地标(2015)”,发布中国电视媒体综合实力大型调研成果中,中广天择传媒董事长曾雄获选“年度广电人物(媒体机构)”、中广天择传媒荣获“年度优秀节目制作机构”奖,《星动亚洲》摘得“年度制作机构优秀节目”奖。
方案实施
针对媒资应用的特点,本次数据存储平台采用大型磁带库结合在线存储组成的混合存储方案,混合存储系统可根据数据访问活跃度实现存储分层管理,经常访问的节目数据将存储在磁盘阵列本地,而对于一些不经常被访问的节目数据,将自动基于预先制定的数据存储管理策略将不活跃节目数据搬迁存储到大容量磁带库存储设备的磁带介质中。
在混合存储管理平台中,用户的各类应用服务器,包括非编工作站、媒资服务器、转码服务器可通过基于FC网络或IP网络实现影视节目数据的直接访问,而无需关注具体数据的存储位置。
在本方案中,媒资数据存储平台将包含可用容量为200TB磁盘阵列在线存储和300TB(已经考虑归档数据的镜像存储 )磁带库近线存储。这一数据存储平台由于采用大容量低成本的磁带库设备实现非活跃影视节目数据的归档存储管理,因此可大大降低数据存储成本,同时归档存储数据实现了双份离线保存,可确保影视节数据安全。
媒资系统数据存储管理平台的拓扑结构图如下:
如上图,
1) 在本方案中,数据中心部署了一套混合数据存储系统。这套系统包括一套数据存储管理服务器设备、一套磁盘阵列设备,以及一台高可扩展性的磁带库设备,系统具备极强的扩展能力。
2) 作为在线数据存储的磁盘阵列包含一个主控模块和三个扩展模块,配置双控双活控制器和48块6TB磁盘,采用10+2的RAID6实现数据保护,在线可用容量为240TB,通过数据存储管理服务器设备中安装的数据存储管理软件的管理,构建一个可被其他业务服务器共享访问的存储池,用于影视节目数据的在线存储,可充分满足用户媒资系统数据的在线存储需求;
3) 作为近线存储设备的磁带库设备,配置了一个主控模块,磁带库设备配置了2台磁带驱动器,并激活100个磁带槽位,使用磁带介质(单盘磁带不压缩容量为6TB),可提供超过600T的近线存储容量,满足用户300TB归档数据双份保存的存储需求。
4) 数据存储管理平台提供统一的影视节目数据的历史归档存储管理,可实现影视节目数据文件在磁盘阵列和磁带库设备之间的归档及回迁管理
5) 磁带库设备配置一台磁带扫描驱动器,通过定制磁带介质扫描策略,自动在后台扫描已经记录数据的磁带介质,确保在需求回迁数据时,磁带介质中记录的数据是可用的。
设备清单
设备 | 说明 | 单位 | 数量 |
磁盘存储系统 |
双元数据服务器,每台服务器包含双6核Intel E5 v3CPU ,48GB内存,冗余电源。 包含16Gb光纤卡,包含双口10Gb以太网卡,包含HA高可用授权和10个SAN client授权。 存储系统总容量≥200T。 文件管理系统授权。 |
套 | 1 |
磁带库 | 自动归档磁带库,200槽位,激活50授权。 | 套 | 1 |
2个LTO7 FC磁带机 | |||
冗余电源 |