Talend Hive

在本章中，让我们了解如何在 Talend 上使用 Hive 作业。

创建 Talend Hive 作业

例如，我们将 NYSE 数据加载到配置单元表并运行基本配置单元查询。右键单击作业设计并创建一个新作业 - hivejob。提及作业的详细信息，然后单击完成。

将组件添加到 Hive 作业

要将组件添加到 Hive 作业，请将五个 talend 组件：tHiveConnection、tHiveCreateTable、tHiveLoad、tHive输入 和 tLogRow 从托盘拖放到设计器窗口。然后，右键单击 tHiveConnection 并为 tHiveCreateTable 创建 OnSubjobOk 触发器。现在，右键单击 tHiveCreateTable 并为 tHiveLoad 创建 OnSubjobOk 触发器。右键单击 tHiveLoad 并在 tHive输入 上创建迭代触发器。最后，右键单击 tHive输入 并为 tLogRow 创建一条主线。

配置组件和转换

在 tHiveConnection 中，选择分发为 cloudera 及其正在使用的版本。注意连接方式为standalone，Hive Service为Hive 2。同时检查以下参数是否设置相应：

• 主持人：“quickstart.cloudera”
• 端口：“10000”
• 数据库：“默认”
• 用户名：“Hive”

请注意，密码将自动填写，你无需编辑它。默认情况下，其他 Hadoop 属性也将被预设和设置。

在 tHiveCreateTable 中，选择使用现有连接并将 tHiveConnection 放入组件列表中。给出要在默认数据库中创建的表名。保持其他参数如下所示。

在 tHiveLoad 中，选择“使用现有连接”并将 tHiveConnection 放入组件列表中。在加载操作中选择加载。在文件路径中，提供 NYSE 输入文件的 HDFS 路径。在表名称中提及要在其中加载输入的表。保持其他参数如下所示。

在 tHive输入 中，选择使用现有连接并将 tHiveConnection 放入组件列表中。单击编辑架构，添加列及其类型，如下面的架构快照所示。现在给出你在 tHiveCreateTable 中创建的表名。

将你的查询放在要在 Hive 表上运行的查询选项中。在这里，我们打印测试配置单元表中前 10 行的所有列。

在 tLogRow 中，单击同步列并选择表格模式以显示输出。

执行 Hive 作业

单击运行开始执行。如果所有连接和参数设置正确，你将看到查询的输出，如下所示。