在本教程中，你将学习到如何通过连接ClouderaManager来自动创建Hadoop集群元数据。
本教程使用Talend Data Fabric Studio v6；Hadoop集群：ClouderaCDH v5.4。
1 新建Hadoop集群元数据定义
1）首先选择集成透视图。
2）在ProjectRepository中，展开Metadata，右键单击HadoopCluster，然后单击CreateHadoopCluster，打开向导。
3）在HadoopClusterConnection向导的Name字段中，输入MyHadoopCluster。在“用途”字段中，键入Clusterconnectionmetadata，在“描述”字段中，键入Metadata并连接到ClouderaCDH5.4集群，然后单击“下一步”。
这一步的目的是打开Hadoop配置导入的向导窗口。
2 选择自动配置方式
1）在Hadoop配置导入向导的窗口发列表中，选择Cloudera，然后在版本列表中，选择4（YARNmode）。
这一步的操作有几种方法同样可以创建Hadoop集群元数据：
- 通过从Ambari或ClouderaManager检索配置进行自动配置
- 通过从Hadoop配置文件导入配置进行自动配置
- 手动配置
2）选择自动配置方法：在Option面板中，选择RetrieveconfigurationfromAmbari或Cloudera，然后单击Next。
3 连接到ClouderaManager
ClouderaManager是用于管理ClouderaCDH集群的端到端应用程序。
连接到ClouderaManager即可检索连接信息并创建相应的元数据。
1）连接ClouderaManager。
在ManagerURI(withport)框中，键入http://clusterCDH54:7180。在用户名和密码框中，键入admin并单击连接。此时，名为Cluster1的集群出现在已发现集群列表中。
2）单击Fetch检索已发现的集群配置。
向导窗口会检测配置文件并列出相应的条目。
在本教程中，我们将保留默认配置并为YARN、HDFS、Hive和HBase创建元数据定义。
3）点击Finish，将配置导入到创建好的Hadoop集群元数据中。
4 创建对应的元数据
1）在HadoopClusterConnection向导的身份验证面板中，输入用户名student，然后单击CheckServices。检查Hadoop服务窗口打开。Namenode和资源管理器状态为100%。
2）关闭检查Hadoop服务窗口。要关闭HadoopClusterConnection向导并创建元数据，请单击Finish。
5 查看在Repository中创建的元数据
1）在存储库中，展开HadoopCluster。
2）展开名为MyHadoopCluster的主定义，它对应于YARN服务。展开HBase、HDFS和Hive。
现在可以在Talend中使用元数据定义了。
评论区（0）