Mahout 环境
本章教你如何设置 mahout。 Java 和 Hadoop 是学习前提 象夫的。下面给出了下载和安装 Java、Hadoop 和 Mahout 的步骤。
安装前设置
在将 Hadoop 安装到 Linux 环境之前，我们需要使用以下命令设置 Linux ssh (安全壳)。按照下面提到的步骤设置 Linux 环境。
创建用户
建议为Hadoop创建一个单独的用户来隔离Hadoop文件 来自 Unix 文件系统的系统。请按照以下步骤创建用户：
-
使用命令“su”打开root。
-
使用命令从 root 帐户创建用户 “用户添加用户名” . -
现在你可以使用以下命令打开现有用户帐户 “苏用户名” .
-
打开 Linux 终端并键入以下命令以创建用户。
$ su password: # useradd hadoop # passwd hadoop New passwd: Retype new passwd
SSH 设置和密钥生成
SSH 设置需要在集群上执行不同的操作，例如启动、停止和分布式守护进程 shell 操作。对不同的用户进行身份验证 Hadoop，需要为Hadoop用户提供公钥/私钥对并共享 它与不同的用户。
以下命令用于使用 SSH 生成键值对，将 id_rsa.pub 中的公钥复制到 authorized_keys，并分别为 authorized_keys 文件提供所有者、读取和写入权限。
$ ssh-keygen -t rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys
验证 ssh
ssh localhost
安装 Java
Java 是 Hadoop 和 HBase 的主要学习前提。首先，你应该验证 使用“java -version”在你的系统中存在 Java。 Java 版本命令的语法如下所示。
$ java -version
它应该产生以下输出。
java version "1.7.0_71" Java(TM) SE Runtime Environment (build 1.7.0_71-b13) Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)
如果你的系统中没有安装 Java，请按照以下步骤操作 安装 Java。
步骤 1
通过访问以下链接下载 java (JDK <最新版本> - X64.tar.gz)： _blank"> Oracle
Then jdk-7u71-linux-x64.tar.gz 已下载 到你的系统上。
步骤 2
通常，你可以在 Downloads 文件夹中找到下载的 Java 文件。验证它并 提取 jdk-7u71-linux-x64.gz 使用以下命令创建文件。
$ cd Downloads/ $ ls jdk-7u71-linux-x64.gz $ tar zxf jdk-7u71-linux-x64.gz $ ls jdk1.7.0_71 jdk-7u71-linux-x64.gz
步骤 3
要使所有用户都可以使用 Java，你需要将其移动到“/usr/local/”位置。打开 root，然后键入以下命令。
$ su password: # mv jdk1.7.0_71 /usr/local/ # exit
步骤 4
用于设置 PATH and JAVA_HOME 变量，添加以下命令 ~/.bashrc 文件 .
export JAVA_HOME=/usr/local/jdk1.7.0_71 export PATH= $PATH:$JAVA_HOME/bin
现在，验证 java版本 如上所述来自终端的命令。
下载 Hadoop
安装 Java 后，首先需要安装 Hadoop。使用“Hadoop version”命令验证 Hadoop 的存在，如下所示。
hadoop version
它应该产生以下输出：
Hadoop 2.6.0 Compiled by jenkins on 2014-11-13T21:10Z Compiled with protoc 2.5.0 From source with checksum 18e43357c8f927c0695f1e9522859d6a This command was run using /home/hadoop/hadoop/share/hadoop/common/hadoopcommon-2.6.0.jar
如果你的系统无法找到 Hadoop，请下载 Hadoop 并进行安装 在你的系统上。请按照下面给出的命令执行此操作。
使用 apache 软件基础下载并解压 hadoop-2.6.0 以下命令。
$ su password: # cd /usr/local # wget http:// mirrors.advancedhosters.com/apache/hadoop/common/hadoop- 2.6.0/hadoop-2.6.0-src.tar.gz # tar xzf hadoop-2.6.0-src.tar.gz # mv hadoop-2.6.0/* hadoop/ # exit
安装 Hadoop
以任何所需的模式安装 Hadoop。在这里，我们在伪分布式模式下演示 HBase 功能，因此在伪分布式模式下安装 Hadoop mode.
按照下面给出的步骤进行安装 Hadoop 2.4.1 在你的系统上。
第 1 步：设置 Hadoop
你可以通过附加以下命令来设置 Hadoop 环境变量 ~/.bashrc file.
export HADOOP_HOME=/usr/local/hadoop export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export HADOOP_INSTALL=$HADOOP_HOME
现在，将所有更改应用到当前运行的系统中。
$ source ~/.bashrc
第 2 步：Hadoop 配置
你可以在“$HADOOP_HOME/etc/hadoop”位置找到所有 Hadoop 配置文件。需要根据你的 Hadoop 基础架构对这些配置文件进行更改。
$ cd $HADOOP_HOME/etc/hadoop
为了用 Java 开发 Hadoop 程序，你需要重置 Java 环境 变量 hadoop-env.sh 通过替换文件 JAVA_HOME 值与 Java 在你的系统中的位置。
export JAVA_HOME=/usr/local/jdk1.7.0_71
下面给出了你必须编辑以配置 Hadoop 的文件列表。
核心站点.xml
The 核心站点.xml 文件包含诸如用于 Hadoop 实例的端口号、为文件系统分配的内存、用于存储数据的内存限制以及 读/写缓冲区的大小。
打开 core-site.xml 并在
<configuration> <property> <name>fs.default.name</name> <value>hdfs:// 本地主机：9000 </property> </configuration>
hdfs-site.xm
The hdfs-site.xml 文件包含复制数据的值、namenode 路径和本地文件系统的 datanode 路径等信息。这意味着你要存储 Hadoop 基础架构的地方。
让我们假设以下数据：
dfs.replication (data replication value) = 1 (In the below given path /hadoop/ is the user name. hadoopinfra/hdfs/namenode is the directory created by hdfs file system.) namenode path = // 主页/hadoop/hadoopinfra/hdfs/namenode (hadoopinfra/hdfs/datanode is the directory created by hdfs file system.) datanode path = // 主页/hadoop/hadoopinfra/hdfs/datanode
打开此文件并在
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>file:// /home/hadoop/hadoopinfra/hdfs/namenode </property> <property> <name>dfs.data.dir</name> <value>file:// /home/hadoop/hadoopinfra/hdfs/datanode </property> </configuration>
注意: 在上述文件中，所有属性值都是用户定义的。你(们)能做到 根据你的 Hadoop 基础架构进行更改。
mapred-site.xml
该文件用于将 yarn 配置到 Hadoop 中。打开 mapred-site.xml 文件并添加
此文件中
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
mapred-site.xml
该文件用于指定我们使用的 MapReduce 框架。默认情况下，Hadoop 包含一个 mapred-site.xml 模板。首先，需要从 mapred-site.xml.template to mapred-site.xml 文件使用以下命令。
$ cp mapred-site.xml.template mapred-site.xml
Open
mapred-site.xml
文件并在两者之间添加以下属性
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
验证 Hadoop 安装
以下步骤用于验证 Hadoop 安装。
第 1 步：名称节点设置
使用命令“hdfs namenode -format”设置名称节点，如下所示：
$ cd ~ $ hdfs namenode -format
预期结果如下：
10/24/14 21通常，你可以在 Downloads 文件夹中找到下载的 Java 文件。验证它并55 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = localhost/192.168.1.11 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 2.4.1 ... ... 10/24/14 21通常，你可以在 Downloads 文件夹中找到下载的 Java 文件。验证它并56 INFO common.Storage: Storage directory /home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted. 10/24/14 21通常，你可以在 Downloads 文件夹中找到下载的 Java 文件。验证它并56 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0 10/24/14 21通常，你可以在 Downloads 文件夹中找到下载的 Java 文件。验证它并56 INFO util.ExitUtil: Exiting with status 0 10/24/14 21通常，你可以在 Downloads 文件夹中找到下载的 Java 文件。验证它并56 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11 ************************************************************/
第 2 步：验证 Hadoop dfs
以下命令用于启动 dfs。此命令启动你的 Hadoop 文件系统。
$ start-dfs.sh
预期输出如下：
10/24/14 21变量，添加以下命令56 Starting namenodes on [localhost] localhost: starting namenode, logging to /home/hadoop/hadoop- 2.4.1/logs/hadoop-hadoop-namenode-localhost.out localhost: starting datanode, logging to /home/hadoop/hadoop- 2.4.1/logs/hadoop-hadoop-datanode-localhost.out Starting secondary namenodes [0.0.0.0]
第 3 步：验证 Yarn 脚本
以下命令用于启动纱线脚本。执行此命令将启动你的纱线恶魔。
$ start-yarn.sh
预期输出如下：
starting yarn daemons starting resource manager, logging to /home/hadoop/hadoop-2.4.1/logs/yarn- hadoop-resourcemanager-localhost.out localhost: starting node manager, logging to /home/hadoop/hadoop- 2.4.1/logs/yarn-hadoop-nodemanager-localhost.out
第 4 步：在浏览器上访问 Hadoop
访问hadoop的默认端口号是50070，使用如下网址获取 浏览器上的 Hadoop 服务。
http:// 本地主机：50070/
第 5 步：验证集群的所有应用程序
访问集群的所有应用程序的默认端口号是 8088。使用以下 访问此服务的 URL。
http:// 本地主机：8088/
下载 Mahout
Mahout 可在网站上找到 Mahout .从下载 Mahout 网站上提供的链接。这是网站的截图。
步骤 1
从链接下载 Apache mahout http://mirror.nexcess.net/apache/mahout/ 使用以下命令。
[Hadoop@localhost ~]$ wget http:// mirror.nexcess.net/apache/mahout/0.9/mahout-distribution-0.9.tar.gz
Then mahout-distribution-0.9.tar.gz 将下载到你的系统中。
步骤2
浏览所在的文件夹 mahout-distribution-0.9.tar.gz 被存储并且 解压下载的jar文件，如下图。
[Hadoop@localhost ~]$ tar zxvf mahout-distribution-0.9.tar.gz
Maven 存储库
下面给出的是使用 Eclipse 构建 Apache Mahout 的 pom.xml。
<dependency>
<groupId>org.apache.mahout</groupId>
<artifactId>mahout-core</artifactId>
<version>0.9</version>
</dependency>
<dependency>
<groupId>org.apache.mahout</groupId>
<artifactId>mahout-math</artifactId>
<version>${mahout.version}</version>
</dependency>
<dependency>
<groupId>org.apache.mahout</groupId>
<artifactId>mahout-integration</artifactId>
<version>${mahout.version}</version>
</dependency>