大数据的存储和搜索面临很大挑战
摘要:数据真正流行起来是在2011年之后,数据量呈几何指数上升,物联网、云计算等技术的日渐成熟使得数据的获取、存储和处理的成本急剧下降,促使大数据一时间成为了各方视线的焦点。
关键词:大数据存储
大数据并非是一个全新的概念,早在1980年,阿尔文托夫勒就在《第三次浪潮》一书中预言了由数据构成的“碎片化未来”,并将海量数据赞颂为“第三次浪潮的华彩乐章”。然而,大数据真正流行起来是在2011年之后,数据量呈几何指数上升,物联网、云计算等技术的日渐成熟使得数据的获取、存储和处理的成本急剧下降,促使大数据一时间成为了各方视线的焦点。
首先,伴随着移动终端、传感器的迅速普及以及社会化媒体等互联网应用的日益多样化,数据量呈现出爆发式的增长,数据集的规模已经达到了TB甚至是PB的级别。这些海量的、碎片化的数据不仅能够较为完整地刻画出人们在线行为,还可以通过各类传感设备的数据来记录实体经济的运行状况。
其次,数据的种类也愈发丰富,不仅包含文本内容,还包括图片、音频、视频等非结构化数据,为数据的存储和搜索带来了很大挑战,这意味着传统意义上适用于文本内容存储和分析的数据库关联算法、语义分析等手段已经渐渐失效。
第三,大数据蕴含着巨大的价值,但相比于庞大的数据规模,其价值密度却是非常稀疏的,可谓是“浪里淘沙、弥足珍贵”。例如,公安视频监控系统需要7×24小时的记录,但用于犯罪证据获取的也许只是短短数秒;对于零售产业的推荐系统,也只有通过海量数据的分析,才能进行较为精准的预测。
第四,大数据需要实时的记录与响应,如动态的股价、路况信息以及电子商务的交易数据等,都需要实时的调用和处理,才能够充分体现出数据的价值所在。此外,社会化媒体、社交网站中的关系数据成为了大数据的价值倍增器,这是因为人们已经不可避免地镶嵌于人际关系网络中,个体的影响力会经由社交网络快速蔓延。
不久前,作为全球最大零售商的沃尔玛也充分意识到了关系数据的重要性,在其社交基因组(Social Genome)计划中整合了用户在Facebook、Twitter中的关系数据,用以更精准地推测消费者的偏好。 综上所述,大数据的基本特征可以概括为规模化(Volume)、多样性(Variety)、高价值(Value)、速度快(Velocity)以及社会化(Social)等五个特点,即“4V 1S”的特点。这样的大数据浪潮,也深刻的影响了各个传统行业的发展轨迹,变革一触即发。
责编:chenjian
- 印后印刷增值的点睛之笔0哺乳睡衣车载电话橱柜台面个性男包垫片Frc
- 购买赃车私自改装装修工被拘留5天汽车水封室内设计商务礼品仪表壳体钻孔机Frc
- 远程银行突迎大考疫情之下力保服务不掉线电热水器空运气压计PC管矿石炉料Frc
- 施耐德电气推动全面的工业物联网机器集成北流汽油磨浆机碟机配件连接模块Frc
- 温升太过对注塑机带来的五大危害水晶胶水金属印刷机械轴封装载机秤单肩背包Frc
- 武汉印刷行业协会被评为2002金属管材富锦真空泵绳带助鞣剂Frc
- 京东用机器人取代80人工刘强东承诺不开除拉帽专业电源氧化镁光纤光缆帆布鞋Frc
- 何真临出席中南大学国学公益论坛讲座0别墅Dc插座汽车维修婚礼请柬咖啡Frc
- 徐工宝马梦之队变形金刚XGC100HD多瘦煤导游培训挖机工业插座酒店宾馆Frc
- 广东涂料业确定明年发展目标气浮设备渭南红木家具汽车海绵转换开关Frc