手套厂家
免费服务热线

Free service

hotline

010-00000000
手套厂家
热门搜索:
行业资讯
当前位置:首页 > 行业资讯

大数据的存储和搜索面临很大挑战

发布时间:2020-07-21 17:31:25 阅读: 来源:手套厂家

摘要:数据真正流行起来是在2011年之后,数据量呈几何指数上升,物联网、云计算等技术的日渐成熟使得数据的获取、存储和处理的成本急剧下降,促使大数据一时间成为了各方视线的焦点。

关键词:大数据存储

大数据并非是一个全新的概念,早在1980年,阿尔文托夫勒就在《第三次浪潮》一书中预言了由数据构成的“碎片化未来”,并将海量数据赞颂为“第三次浪潮的华彩乐章”。然而,大数据真正流行起来是在2011年之后,数据量呈几何指数上升,物联网、云计算等技术的日渐成熟使得数据的获取、存储和处理的成本急剧下降,促使大数据一时间成为了各方视线的焦点。

首先,伴随着移动终端、传感器的迅速普及以及社会化媒体等互联网应用的日益多样化,数据量呈现出爆发式的增长,数据集的规模已经达到了TB甚至是PB的级别。这些海量的、碎片化的数据不仅能够较为完整地刻画出人们在线行为,还可以通过各类传感设备的数据来记录实体经济的运行状况。

其次,数据的种类也愈发丰富,不仅包含文本内容,还包括图片、音频、视频等非结构化数据,为数据的存储和搜索带来了很大挑战,这意味着传统意义上适用于文本内容存储和分析的数据库关联算法、语义分析等手段已经渐渐失效。

第三,大数据蕴含着巨大的价值,但相比于庞大的数据规模,其价值密度却是非常稀疏的,可谓是“浪里淘沙、弥足珍贵”。例如,公安视频监控系统需要7×24小时的记录,但用于犯罪证据获取的也许只是短短数秒;对于零售产业的推荐系统,也只有通过海量数据的分析,才能进行较为精准的预测。

第四,大数据需要实时的记录与响应,如动态的股价、路况信息以及电子商务的交易数据等,都需要实时的调用和处理,才能够充分体现出数据的价值所在。此外,社会化媒体、社交网站中的关系数据成为了大数据的价值倍增器,这是因为人们已经不可避免地镶嵌于人际关系网络中,个体的影响力会经由社交网络快速蔓延。

不久前,作为全球最大零售商的沃尔玛也充分意识到了关系数据的重要性,在其社交基因组(Social Genome)计划中整合了用户在Facebook、Twitter中的关系数据,用以更精准地推测消费者的偏好。 综上所述,大数据的基本特征可以概括为规模化(Volume)、多样性(Variety)、高价值(Value)、速度快(Velocity)以及社会化(Social)等五个特点,即“4V 1S”的特点。这样的大数据浪潮,也深刻的影响了各个传统行业的发展轨迹,变革一触即发。

责编:chenjian

广州隆鼻医院

石家庄植发价格

长春面部填充