Hadoop 大数据解决方案


在这种方法中,企业将拥有一台计算机来存储和处理大数据。出于存储目的,程序员将借助他们选择的数据库供应商,如 Oracle、IBM 等。在这种方法中,用户与应用程序进行交互,这 反过来处理数据存储和分析的部分。

Big Data Traditional Approach

局限性

这种方法适用于那些处理较少量数据的应用程序,这些数据可以由标准数据库服务器容纳,或者达到处理数据的处理器的限制。但在处理海量可扩展数据时,通过单个数据库瓶颈处理此类数据是一项繁重的任务。

谷歌的解决方案


谷歌使用一种称为 MapReduce 的算法解决了这个问题。该算法将任务分成小部分并将它们分配给许多计算机,并从中收集结果,当集成时,形成结果数据集。

Google MapReduce

Hadoop


使用谷歌提供的解决方案, 道格切割 和他的团队开发了一个开源项目,名为 HADOOP .

Hadoop 使用 MapReduce 算法运行应用程序,其中数据与其他数据并行处理。简而言之,Hadoop 用于开发可以对大量数据执行完整统计分析的应用程序。

Hadoop Framework