大数据

大数据一词自1990年代开始使用，有人称赞John Mashey推广了该术语。大数据通常包含的数据集的大小超出了常用软件工具在可容忍的经过时间内捕获、整理、管理和处理数据的能力。大数据哲学包含非结构化，半结构化和结构化数据，但是主要关注于非结构化数据。大数据“大小”是一个不断移动的目标，如2012的范围从几十兆兆字节到许多泽字节的数据。大数据需要一套具有新的集成形式的技术和技术，以揭示来自多样化，复杂且大规模的数据集的见解。

2018年的一个定义指出“大数据是需要并行计算工具处理数据的地方”，并指出，“这表示通过并行编程理论对所使用的计算机科学进行了明显而明确的更改，并且损失了一些保证和保证。功能通过由Codd的关系模型 “。

该概念的日趋成熟更加清晰地描绘了“大数据”与“ 商业智能 ” 之间的区别：

• 商业智能使用应用数学工具和具有高信息密度的数据的描述性统计信息来衡量事物，检测趋势等。
• 大数据使用数学分析、优化、归纳统计和非线性系统识别中的概念，从信息密度低的大数据集中推断定律（回归，非线性关系和因果关系）以揭示关系和依存关系，或执行结果和行为的预测。

大数据极大地增加了信息管理专家的需求，以至于Software AG、Oracle Corporation、IBM、Microsoft、SAP、EMC、HP和Dell在专门从事数据管理和分析的软件公司上花费了超过150亿美元。2010年，该行业的价值超过1000亿美元，并且每年以近10％的速度增长：大约是整个软件业务的两倍。

发达经济体越来越多地使用数据密集型技术。全球有46亿手机用户，有10亿至20亿人访问互联网。在1990年至2005年之间，全世界有超过10亿人进入中产阶级，这意味着更多的人变得更加识字，这反过来又导致了信息的增长。世界上通过电信网络交换信息的有效能力在1986年为281 PB，在1993 年为471 PB，在2000年为2.2 EB，在2007 年为65 EB ，并且预测到2014年每年的互联网流量为667 EB。根据一项估计，全球存储的信息的三分之一是字母数字文本和静止图像数据的形式，对于大多数大数据应用而言，这是最有用的格式。这也显示出尚未使用的数据（即视频和音频内容形式）的潜力。

尽管许多供应商都提供大数据的现成解决方案，但专家建议开发量身定制的内部解决方案，以解决公司具有足够技术能力的问题。

在政府流程中使用和采用大数据可以提高生产力和创新效率，但并非没有缺陷。数据分析通常需要政府的多个部门（中央和地方）进行协作，并创建新的创新流程以实现期望的结果。

关于有效利用信息和通信技术促进发展的研究（也称为ICT4D）表明，大数据技术可以做出重要贡献，但也给国际发展带来独特挑战。大数据分析的进步提供了具有成本效益的机会，可以改善关键发展领域的决策，例如卫生保健、就业、经济生产力、犯罪、安全以及自然灾害和资源管理。此外，用户生成的数据还提供了新的机会来让人们听到未曾听到的声音。但是，发展中地区的长期挑战（例如技术基础设施不足以及经济和人力资源稀缺）加剧了对大数据的现有担忧，例如隐私，方法不完善以及互操作性问题。

根据TCS 2013全球趋势研究，供应计划和产品质量的改进为制造业提供了大数据的xxx利益。大数据为制造行业的透明度提供了基础架构，这是解决不确定性（如组件性能和可用性不一致）的能力。预测性制造作为接近零停机时间和透明度的一种适用方法，需要大量数据和高级预测工具，才能将数据系统化为有用信息。预测制造的概念框架从数据获取开始，在数据获取中，可以获取不同类型的感官数据，例如声学，振动，压力，电流，电压和控制器数据。除了历史数据外，大量的感官数据还构成了制造业中的大数据。生成的大数据可作为预测工具和预防策略（如预测和健康管理（PHM））的输入。

大数据分析通过提供个性化的医学和处方分析，临床风险干预和预测分析，减少浪费和护理变异性，自动对患者数据进行内部和外部报告，标准化医学术语和患者注册表以及零散点解决方案，帮助医疗保健领域取得了进步。一些改进领域比实际实施更令人向往。在医疗保健系统内生成的数据水平并非无关紧要。随着mHealth，eHealth和可穿戴技术的更多采用，数据量将继续增加。这包括电子健康记录数据，成像数据，患者生成的数据，传感器数据以及其他难以处理的数据形式。现在，对此类环境的需求更大，它们将更加关注数据和信息质量。“大数据通常意味着“ 脏数据 ”，并且数据不准确率随数据量的增长而增加。” 不可能在大数据规模上进行人工检查，并且在医疗服务领域迫切需要智能工具，以实现准确性和可信度控制以及对丢失信息的处理。虽然医疗保健中的大量信息现在都可以电子化，但由于大多数都是非结构化且难以使用的，因此它适合大数据领域。在医疗保健中使用大数据带来了重大的道德挑战，从个人权利，隐私和自治权的风险到透明和信任的风险。

就探索性生物医学研究而言，健康研究中的大数据尤其有希望，因为数据驱动的分析可以比假设驱动的研究更快地前进。然后，可以在传统的，假设驱动的后续生物学研究以及最终的临床研究中检验数据分析中看到的趋势。

在医疗保健领域中，一个非常依赖大数据的相关应用子领域是医学中的计算机辅助诊断领域。 只需回顾一下，例如，对于癫痫监测，习惯每天创建5到10 GB的数据。 同样，乳房断层合成的单个未压缩图像平均包含450 MB数据。 这些只是计算机辅助诊断使用大数据的众多示例中的少数几个。因此，大数据已被认为是计算机辅助诊断的七个关键挑战之一。系统需要克服才能达到更高的性能水平。

一个麦肯锡全球研究所研究发现，150万名训练有素的数据专业人员和管理人员短缺和一些大学包括田纳西大学和加州大学伯克利分校，创造了硕士课程，以满足这种需求。私人新兵训练营还开发了满足该需求的程序，包括免费程序（例如The Data Incubator）或付费程序（例如General Assembly）。在特定的行销领域，Wedel和Kannan强调的问题之一市场营销有几个子域（例如：广告、促销、产品开发、品牌），它们都使用不同类型的数据。由于不希望采用一种千篇一律的分析解决方案，因此商学院应让营销经理做好对这些子领域中使用的所有不同技术的广泛了解，从而获得全面了解并与分析师有效合作。

要了解媒体如何利用大数据，首先必须在用于媒体处理的机制中提供一些上下文。Nick Couldry和Joseph Turow曾建议从业者媒体和广告领域的研究人员采用大数据作为数百万个人的许多可行信息点。该行业似乎正在摆脱使用特定媒体环境（例如报纸，杂志或电视节目）的传统方法，而是利用可在最佳时间，在最佳位置到达目标人群的技术来吸引消费者。最终目的是提供或传达与消费者的心态相符的消息或内容（从统计意义上来说）。例如，发布环境越来越多地定制消息（广告）和内容（文章）以吸引通过各种数据挖掘活动专门收集的消费者。

• 定位消费者（针对营销商的广告）
• 数据抓取
• 数据新闻：出版商和新闻工作者使用大数据工具来提供独特和创新的见解和信息图表。

英国公共电视台广播公司第四频道是大数据和数据分析领域的领导者。

健康保险提供者正在收集有关社会“健康决定因素”的数据，例如食物和电视消费、婚姻状况、衣着大小和购买习惯，并据此对健康成本进行预测，以便发现客户中的健康问题。这些预测当前是否用于定价尚有争议。

大数据和物联网协同工作。从物联网设备提取的数据提供了设备互连性的映射。媒体行业，公司和政府已使用此类映射来更准确地定位其受众并提高媒体效率。物联网也越来越多地被用作收集感官数据的手段，并且这种感官数据已用于医疗，制造和运输上下文中。

数字创新专家凯文·阿什顿（Kevin Ashton）创造了这个名词，^[91]在这句话中对物联网进行了定义：“如果我们的计算机知道物联网的全部知识，那就是使用它们收集的数据而无需我们的任何帮助。 -我们将能够跟踪和计算所有内容，并xxx减少浪费，损失和成本。我们会知道什么时候需要更换，修理或召回，以及它们是新鲜的还是过时的。”

特别是自2015年以来，大数据已成为企业运营中的重要工具，可帮助员工更有效地工作并简化信息技术（IT）的收集和分配。使用大数据解决企业内部的IT和数据收集问题称为IT运营分析（ITOA）。通过将大数据原理应用到机器智能和深度计算的概念中，IT部门可以预测潜在问题，并在问题发生之前采取行动以提供解决方案。这一次，ITOA业务也开始在系统管理中发挥重要作用通过提供将各个数据孤岛集合在一起并从整个系统（而不是孤立的数据袋）中产生见解的平台。