今天数据正在以前所未有的速度产生,每一个新的技术都将进一步推动这种趋势。物联网(IoT)、机器学习和医疗保健数字化,产生数据的速度很快就达到每秒数百万千兆字节。根据IMB的一项研究,自动驾驶汽车也将很快加入——到2020年每秒将生成350MB的数据。
数据的产生与收集已经在企业中根深蒂固,时刻上演着大量数居的记录与分析。但是,这些数据的存储库并不总是结构化和一致的。事实上,未知的和未使用的数据催生了一个新的术语——“黑暗数据”。
如果我们不改变存储、管理、结构和分析数据的方式,大部分数据都将变得毫无价值。IMB同一研究表明,今天收集的所有数据中有80%是“黑暗的”,也就是说,这些数据是无效和不连贯的。未来数据量越大,“黑暗数据”引发的黑洞也就越大,导致的问题与挑战就越严重。
存储和安全
最大的挑战是,“黑暗数据”不仅难以分析,而且也容易导致存储问题。大量的非结构化数据——MS Office文件、即时消息、电子邮件、社交媒体帖子等形式获得的数据就属于此范畴。
上一篇: 【质量工具】5why分析法并不简单! 下一篇: 提高产品质量的3-3-1法则