Apache Flume 环境
我们已经在上一章讨论了 Flume 的架构。在本章中,让我们看看如何下载和设置 Apache Flume。
在继续之前,你的系统中需要有一个 Java 环境。因此,首先,确保你的系统中安装了 Java。对于本教程中的一些示例,我们使用了 Hadoop HDFS(作为接收器)。因此,我们建议你将 Hadoop 与 Java 一起安装。收集更多信息,请点击链接: http://www.newbiego.com/hadoop/hadoop_enviornment_setup.htm
安装水槽
首先,从官网下载最新版本的Apache Flume软件 https://flume.apache.org/ .
步骤 1
打开网站。点击 download 主页左侧的链接。它将带你到 Apache Flume 的下载页面。
步骤 2
在下载页面中,你可以看到 Apache Flume 的二进制文件和源文件的链接。点击链接 apache-flume-1.6.0-bin.tar.gz
你将被重定向到镜像列表,你可以通过单击这些镜像中的任何一个来开始下载。同样的方法,你可以点击下载 Apache Flume 的源代码 apache-flume-1.6.0-src.tar.gz .
步骤 3
在安装目录的同一目录下创建一个名为 Flume 的目录 Hadoop , HBase ,并安装了其他软件(如果你已经安装了任何软件),如下所示。
$ mkdir Flume
步骤 4
解压下载的 tar 文件,如下所示。
$ cd Downloads/ $ tar zxvf apache-flume-1.6.0-bin.tar.gz $ tar zxvf apache-flume-1.6.0-src.tar.gz
步骤 5
移动apache的内容- flume-1.6.0-bin.tar 文件到 Flume 之前创建的目录,如下所示。 (假设我们在名为 Hadoop 的本地用户中创建了 Flume 目录。)
$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/
配置 Flume
要配置 Flume,我们必须修改三个文件,即 水槽-env.sh,水槽配置.properties, and bash.rc .
设置路径/类路径
In the .bashrc 文件,设置主文件夹、路径和 Flume 的类路径,如下所示。
conf 文件夹
如果你打开 conf 在 Apache Flume 文件夹下,你将有以下四个文件:
- 水槽-conf.properties.template,
- 水槽-env.sh.模板,
- flume-env.ps1.template,和
- log4j.properties。
现在重命名
-
水槽-conf.properties.template file as 水槽-conf.properties and
-
水槽-env.sh.template as 水槽-env.sh
水槽-env.sh
Open 水槽-env.sh 文件并设置 JAVA_首页 到系统中安装 Java 的文件夹。
验证安装
通过浏览验证 Apache Flume 的安装 bin 文件夹并键入以下命令。
$ ./flume-ng
如果你已经成功安装了 Flume,你会得到一个 Flume 的帮助提示,如下图所示。