Apache Flume 环境


我们已经在上一章讨论了 Flume 的架构。在本章中,让我们看看如何下载和设置 Apache Flume。

在继续之前,你的系统中需要有一个 Java 环境。因此,首先,确保你的系统中安装了 Java。对于本教程中的一些示例,我们使用了 Hadoop HDFS(作为接收器)。因此,我们建议你将 Hadoop 与 Java 一起安装。收集更多信息,请点击链接: http://www.newbiego.com/hadoop/hadoop_enviornment_setup.htm

安装水槽


首先,从官网下载最新版本的Apache Flume软件 https://flume.apache.org/ .

步骤 1

打开网站。点击 download 主页左侧的链接。它将带你到 Apache Flume 的下载页面。

Installing Flume

步骤 2

在下载页面中,你可以看到 Apache Flume 的二进制文件和源文件的链接。点击链接 apache-flume-1.6.0-bin.tar.gz

你将被重定向到镜像列表,你可以通过单击这些镜像中的任何一个来开始下载。同样的方法,你可以点击下载 Apache Flume 的源代码 apache-flume-1.6.0-src.tar.gz .

步骤 3

在安装目录的同一目录下创建一个名为 Flume 的目录 Hadoop , HBase ,并安装了其他软件(如果你已经安装了任何软件),如下所示。

$ mkdir Flume 

步骤 4

解压下载的 tar 文件,如下所示。

$ cd Downloads/ 
$ tar zxvf apache-flume-1.6.0-bin.tar.gz  
$ tar zxvf apache-flume-1.6.0-src.tar.gz

步骤 5

移动apache的内容- flume-1.6.0-bin.tar 文件到 Flume 之前创建的目录,如下所示。 (假设我们在名为 Hadoop 的本地用户中创建了 Flume 目录。)

$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/

配置 Flume


要配置 Flume,我们必须修改三个文件,即 水槽-env.sh,水槽配置.properties, and bash.rc .

设置路径/类路径

In the .bashrc 文件,设置主文件夹、路径和 Flume 的类路径,如下所示。

setting the path

conf 文件夹

如果你打开 conf 在 Apache Flume 文件夹下,你将有以下四个文件:

  • 水槽-conf.properties.template,
  • 水槽-env.sh.模板,
  • flume-env.ps1.template,和
  • log4j.properties。
conf Folder

现在重命名

  • 水槽-conf.properties.template file as 水槽-conf.properties and

  • 水槽-env.sh.template as 水槽-env.sh

水槽-env.sh

Open 水槽-env.sh 文件并设置 JAVA_首页 到系统中安装 Java 的文件夹。

flume-env.sh

验证安装


通过浏览验证 Apache Flume 的安装 bin 文件夹并键入以下命令。

$ ./flume-ng 

如果你已经成功安装了 Flume,你会得到一个 Flume 的帮助提示,如下图所示。

Verifying the Installation