Hadoop 中的 Apache Flume 数据传输

大数据， 众所周知，它是无法使用传统计算技术处理的大型数据集的集合。大数据在分析时会给出有价值的结果。 Hadoop 是一个开源框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。

流式传输/记录数据

通常，要分析的大部分数据将由各种数据源产生，如应用服务器、社交网站、云服务器和企业服务器。该数据将采用以下形式 日志文件 and events .

Log file ：一般来说，日志文件是一个 file 列出操作系统中发生的事件/动作。例如，Web 服务器会在日志文件中列出对服务器发出的每个请求。

在收获这样的日志数据后，我们可以获得以下信息：

将数据传输到 HDFS 系统的传统方法是使用 put 命令。让我们看看如何使用 put command.

处理日志数据的主要挑战是将多台服务器产生的这些日志移动到 Hadoop 环境中。

Hadoop 文件系统外壳 提供将数据插入 Hadoop 并从中读取的命令。你可以使用 put 命令如下图。

$ Hadoop fs –put /path of the required file  /path in HDFS where to save the file

我们可以使用 put Hadoop 命令将数据从这些源传输到 HDFS。但是，它存在以下缺点：

Using put 命令，我们可以转移 一次只有一个文件 而数据生成器以更高的速率生成数据。由于对旧数据的分析不太准确，因此我们需要一个实时传输数据的解决方案。
如果我们使用 put 命令，需要打包数据并准备好上传。由于网络服务器不断生成数据，因此这是一项非常艰巨的任务。

我们这里需要的是一个可以克服以下缺点的解决方案 put 命令并以更少的延迟将“流数据”从数据生成器传输到集中式存储(尤其是 HDFS)。

在 HDFS 中，文件作为目录条目存在，文件的长度将被视为零，直到它被关闭。例如，如果一个源正在向 HDFS 写入数据，并且在操作过程中网络中断(没有关闭文件)，那么写入文件中的数据将会丢失。

因此，我们需要一个可靠、可配置和可维护的系统来将日志数据传输到 HDFS。

注意：在 POSIX 文件系统中，每当我们访问一个文件(比如执行写操作)时，其他程序仍然可以读取这个文件(至少是文件的保存部分)。这是因为该文件在关闭之前就已存在于光盘上。

要将流数据(日志文件、事件等)从各种来源发送到 HDFS，我们可以使用以下工具：

Scribe 是一种非常流行的工具，用于聚合和流式传输日志数据。它旨在扩展到大量节点，并对网络和节点故障具有鲁棒性。

Kafka 由 Apache 软件基金会开发。它是一个开源消息代理。使用 Kafka，我们可以处理具有高吞吐量和低延迟的提要。

Apache Flume 是一种工具/服务/数据摄取机制，用于从各种 Web 服务器收集聚合和传输大量流数据(例如日志数据、事件等)并将其传输到集中式数据存储。

它是一种高度可靠、分布式和可配置的工具，主要用于将流数据从各种来源传输到 HDFS。

在本教程中，我们将通过一些示例详细讨论如何使用 Flume。