通栏广告

数据处理与计算在企业大数据平台应用中面临的技术挑战

企业大数据的实施过程中,仍然面临很多技术挑战,涉及数据采集与获取、数据存储与查询、数据处理与计算、数据挖掘与学习、数据理解与应用、数据管理与扩展等方面。

  企业大数据的实施过程中,仍然面临很多技术挑战,涉及数据采集与获取、数据存储与查询、数据处理与计算、数据挖掘与学习、数据理解与应用、数据管理与扩展等方面。在数据处理与计算应用中,存在以下几个方面的技术挑战:

  

?

  技术挑战

  数据计算的实时性。传统的大数据处理侧重于离线计算,但在线计算、实时计算等需求日益显着。由于计算机硬件资源是有限的,即使采用分布式、并行计算框架仍然无法突破硬件的瓶颈,无限增长的数据规模对数据实时处理提出了更高的要求。尤其在面对时间性较强和决策周期较短的场景下,这种需求更加明显,例如地震预测(秒/分钟级)、火灾分析(分钟/小时级)等。

  多类型数据的处理与理解。对于隐藏在半结构化和非结构化数据中的潜在信息,通过表征意象提取表意信息,然后将多种来源和类型的数据整合在一起,才能得到全面的数据认知,这是后续进行数据挖掘和深入学习的基础。

  数据处理过程中的技术挑战。大数据在处理过程中,面临的噪声处理、样本选择、数据转换、降维归约、算法适配等问题,仍然是通过手工方式实现选择、调整和设置,然后计算机根据人类的设定进行运算。这些关键点在提高人工先验经验参与的同时,也不可避免地带来了人类主观性或经验局限性的影响问题,如何技术化这一过程是解决人工经验或局限性短板的重要课题。

相关推荐

云计算市场在中国将保持高速增长

云计算市场在中国将保持高速增长

运营商推迟5G商用时间?官方回应将按既定节奏推进

运营商推迟5G商用时间?官方回应将按既定节奏推进

国内云计算市场体量庞大 市场机会巨大

国内云计算市场体量庞大 市场机会巨大

2019年第15、16批CDN牌照齐发 45家企业获经营资质

2019年第15、16批CDN牌照齐发 45家企业获经营资质

领取《中华人民共和国增值电信业务经营许可证》通知-(2019)第15批

领取《中华人民共和国增值电信业务经营许可证》通知-(2019)第15批

领取《中华人民共和国增值电信业务经营许可证》通知-(2019)第16批

领取《中华人民共和国增值电信业务经营许可证》通知-(2019)第16批