海量数据(海量数据行业地位)

初恋那件小事儿-华发股份

2021年6月23日发(作者:空中巴士)


海量数据存储架构探析
李 俭,齐景嘉,李康乐


【摘 要】摘 要:随着Internet和移动网络的高速发展,数据的规模不断增大,
容量达到TB甚至PB级的海量存储系统已经成为现实。

介绍了海量数据的基本
特点,简述了海量数据存储的发展趋势,比较分析了分布式并行文件系统存储
架构和几家大网站海量数据存储的基本方法。



【期刊名称】金融理论与教学

【年(卷),期】2015(000)004

【总页数】4

【关键词】关键词:虚拟存储;海量存储;分布式存储

【文献来源】
https:demic-journal-cn_finance-theory-
teaching_

随着云时代的到来,数据密集型计算及应用已成为一种非常重要的新型应用,
数据的处理越来越被人们所关注。

从2010年以后全球信息量进入大数据时代,
并且每年以60%的速度在上升,这标志着每18个月全球信息数据量将会翻倍。


面对数据规模的不断拓展,海量信息的存储与管理、实时处理、数据挖掘、数
据搜索等信息处理能力面临新的挑战,这使得海量数据存储和海量数据处理技
术不可避免的成为一个新的发展方向。



一、海量数据存储技术

随着每天海量数据的产生,所需的存储容量以指数级增长,这就需要数据中心
不断地扩充存储空间。

若根据需要从物理上扩充内存容量,无疑会导致存储数
据成本持续增加,而我们的理想目标是通过更有效地措施来节约成本,以保证


在最大限度削减开支的情况下实现更多数据的存储;同时,随着网络技术与移动
通信技术的发展,数据存储容量增长的速度是难以预测的,这就需要技术人员
在设计存储架构时既解决眼前问题,又为以后的数据增长作好准备;另外,越来
越复杂的存储环境也使数据管理成为难题。

目前,较为理想的解决方案有两个:

(一)虚拟存储

虚拟存储是在早期的计算机虚拟存储器原理基础之上,在更大的范围及规模内
实现网络存储虚拟化。

虚拟存储首先要对存储范围内的所有存储设备空间进行
整合与规划,然后再根据应用需求的不同灵活地分配存储空间,以实现存储空
间的高利用率,最大限度地避免不必要的设备开支。

例如,可以将几台物理服
务器的本地硬盘整合成一个虚拟存储池,然后通过一个访问点进行访问,并提
供冗余和高可用服务。

根据数据量的增长,可以继续将虚拟存储池扩展为节点
数更多的服务器集群,此时,服务器内部就有足够的磁盘空间来容纳数据,而
且虚拟存储阵列能够满足各种数据处理来应用对存储性能的要求。



存储虚拟化的优势众多,它既可以通过整合存储系统来提高存储空间的利用率,
又可以在原来设备投资的基础之上简化系统的管理。

目前,许多最新高效技术,
例如自动精简配置,都是在虚拟化技术基础之上实现的。

虚拟存储技术正逐步
成为主流技术,在数据镜像、数据复制、实时复本、实时数据恢复、应用整合
等方面发挥着巨大的作用。



(二)容量扩展

如今,随着无线通信、互联网、智能终端、云计算等信息技术的广泛应用,各
种智能系统应运而生,积累的数据量也越来越巨大,存储管理的核心已从存储
资源转向数据资源。

对于具有时空特征的数据,在存储时要从时间和空间属性


的角度加以分析,使数据有效地分布存储,以有效保证数据的存取性、安全性
和经济性,同时还可以更快地获取有价值的信息。

由于大数据正是当前最热门
的话题,存储现状也比较复杂,导致存储技术的发展,尤其是存储容量增长技
术,尚存在很大的提升空间。



二、海量数据存储技术的发展趋势

为了支持大规模数据的存储、传输与处理,针对海量数据存储,目前主要开展
如下两个方向的研究:

(一)虚拟存储技术

虚拟存储,就是在有限内存空间的基础上,利用外存空间,通过相关技术,使
外存与内存进行有机结合,得到一个容量远远大于实际内存的“内存”。

虚拟
存储提供了一个集中管理大容量存储系统的手段,通过网络中的一个结点(如服
务器)进行统一管理,从而避免了由于存储设备扩充导致的管理方面的困难。


如,在一般存储系统上增加新存储设备时,整个系统(包括网络中的各种用户设
备)都需要重新进行配置,才能正确地将该存储设备添加到存储系统之中。

而使
用虚拟存储技术增加新存储设备时,只需要网络管理员简单更改存储系统的配
置,客户端根本无需任何操作,只是感觉存储系统的容量增大了。

另外,在虚
拟存储技术的基础上,针对系统中不同类型的存储设备,都可以集中管理使用,
从而保障了用户以前购买存储设备的投资。



目前,在大数据中数据类型多种多样的情况下,虚拟存储对于视频网络系统所
体现出来的价值最为鲜明。

存储系统由多个存储模块组成,而虚拟存储系统可
以大大提高存储系统整体访问带宽,同时均衡负载,把用户每一次访问数据所
需的带宽动态合理地分配到各个存储模块上,从而增大系统的整体访问带宽。

师生恋情-上海新阳


谁乐不思蜀-国祯环保


招聘大全-typical


千针万线草-广告业


威海职业技术学校-张维维


letalone-基金净值排名


美誉的近义词-


异国他乡的意思-湘江欢乐城


更多推荐
营口港吧,乐视股票暂停上市,长信银利基金净值,工银金融地产,友利控股股吧,参股金融概念股,002038,中原证劵,中国gdp,星湖科技,000586股票,002378,招商安盈保本基金,新天然气,002607股票,000532,caoliu发布页,利好网,汇添富均衡基金,房价趋势,601988中国银行,600660福耀玻璃,富临运业股吧东方财富网,兰州银行,603027,锦江投资股吧,股票600078,002138,罗伟广,600259历史交易,欧博,黄金 价格,金融街控股股份有限公司,刘惠璞老婆,东方精工002611,南通科技股票,帕特尔,绿金,荷银市值,600559股票,长江投资股吧,科力远,金证股份股吧,乐视被查封,600231凌钢股份,银鸽投资股吧,000851股吧,还我至尊,泉牌,510020,通信板块,华茂股份股吧,万顺股份,东方财富股吧,
发布时间:2021-06-23 09:49:06
本文来自网络的,不代表本站立场,转载请注明出处: https://www.hnkaiping.cn/hnka/642878.html

作者: admin

股票市场吧|今天股票行情|股票时间

发表评论

15条评论

  1. 可以继续将虚拟存储池扩展为节点数更多的服务器集群

  2. 数据的处理越来越被人们所关注

  3. 越来越复杂的存储环境也使数据管理成为难题

  4. 初恋那件小事儿-华发股份2021年6月23日发(作者:空中巴士)海量数据存储架构探析李 俭

  5. 随着网络技术与移动通信技术的发展

  6. 而使用虚拟存储技术增加新存储设备时

  7. 越来越复杂的存储环境也使数据管理成为难题

  8. 又可以在原来设备投资的基础之上简化系统的管理