asdaraujo/edge2ai-workshop

CDF Workshop

介绍

在本动手实践工作坊中，您将为物联网预测性维护用例构建完整的OT到IT工作流。以下是架构图，展示了您将在实验练习中设置的所有组件。虽然图中按位置（工厂、区域或数据中心级别）划分组件，但在本工作坊中，所有此类组件都将部署在单个主机上。

image::images/iot-architecture.png[width=800]

实验

重要提示：如果您是首次浏览此内容，请在进入实验前阅读本README介绍的其余部分。

如果您已熟悉README中的说明，现在可以开始实操，探索有趣的内容！选择您的实验并开始吧！

• link:streaming.adoc[从边缘到流处理]
• link:streams_replication.adoc[流复制]
• link:sql_stream_builder.adoc[使用SQL查询流数据]
• link:spark_analytics.adoc[使用Kudu进行Spark和快速分析]
• link:datascience.adoc[CDSW实验和模型]

开始前注意事项

• 所有内容区分大小写。
• 检查所有连接和拼写
• 如果遇到任何问题，例如MiNiFi未发送消息，请在下面的<>部分查找线索。

前置条件

• 安装支持操作系统的笔记本电脑（不支持Windows 7）。
• 现代浏览器，如Google Chrome或Firefox（不支持IE）。

连接到您的集群

讲师将提供注册链接，您可通过该链接申请集群。您将获得单节点集群的2个地址：公共DNS名称和公共IP地址。使用这些地址，您可以测试与集群的以下连接：

1. 确保您可以通过浏览器连接到以下服务：

[%autowidth,options="header"] |=== |服务|URL|凭据 |Cloudera Manager|http://<public_dns>:7180/|admin/supersecret1 |Edge Flow Manager|http://<public_dns>:/efm/ui/| |NiFi|http://<public_dns>:8080/nifi/| |NiFi Registry|http://<public_dns>:/nifi-registry/| |Schema Registry|http://<public_dns>:7788/| |SMM|http://<public_dns>:9991/| |Hue|http://<public_dns>:8888/|admin/supersecret1 |CDSW|[***]<public_IP>.nip.io/|admin/supersecret1 |===

2. 登录Cloudera Manager并熟悉已安装的服务
3. 登录Hue。由于您是首次登录Hue，将被授予管理员权限。此时无需在Hue执行操作，但登录后CDH会创建您的HDFS用户和文件夹，这是下一个实验所需的。

下图显示了Chrome浏览器打开8个标签页，每个标签页对应一个服务。

image::images/browser.png[width=800]

（可选）SSH访问

本工作坊实验不需要此访问权限，可跳过本节。

仅当需要排查问题或探索集群时才需SSH访问。通过SSH连接的步骤取决于您使用的计算机类型：

从Web UI SSH到集群

从注册链接中，点击右侧链接，使用凭据centos/supersecret1通过基于Web的SSH客户端连接集群。

从Linux/Macos SSH到集群

从注册链接下载SSH访问集群所需的PEM密钥。运行以下命令：

chmod 400 workshop.pem
ssh -i workshop.pem centos@you-ip-address

从Windows SSH到集群

从注册链接下载SSH访问集群所需的PEM密钥。我们将使用PuTTY连接集群。但Putty不接受PEM密钥，需按照以下说明将PEM密钥转换为PPK密钥：

使用PuTTYgen转换密钥：

1. 使用PuTTYgen将.PEM文件转换为.PPK文件。
2. 启动PuTTYgen并选择“Load”
3. 选择您的.PEM文件。
4. PuTTY将把.PEM格式转换为.PPK格式。
5. 选择“Save Private Key”（无需密码，但如有额外安全需求可设置）。

使用PuTTY连接：

1. 启动PuTTY并输入主机IP地址。
2. 导航至Connection/SSH/Auth
3. 点击“Browse”并选择从PuTTYgen导出的.PPK文件。
4. 点击“Open”。

资源

• Original blog by Abdelkrim Hadjidj

• 本工作坊基于Fabio Ghirardello的以下工作：

  • https://github.com/fabiog1901/IoT-predictive-maintenance
  • https://github.com/fabiog1901/OneNodeCDHCluster

• Cloudera Documentation

故障排除

常规

• 所有内容区分大小写。
• 检查所有连接和拼写

MiNiFi未发送消息

• 确保在NiFi的Cloud Connection中选择HTTP，而非RAW
• 确保目标ID、URL、名称、主题、代理等前后无空格！
• 确保任何地方都无空格！
• 所有内容区分大小写。例如，NiFi Registry中的存储桶名称是IoT，而非iot。
• 如无法找到问题，检查/opt/cloudera/cem/minifi/logs/minifi-app.log
• 必须通过HUE创建HDFS用户，需先访问HUE

CEM未识别新NARs

1. 使用EFM API手动删除代理清单：

2. 验证每个类具有相同的代理清单ID：

http://hostname:10088/efm/api/agent-classes
[{"name":"iot1","agentManifests":["agent-manifest-id"]},{"name":"iot4","agentManifests":["agent-manifest-id"]}]

3. 确认清单中没有您安装的NAR：

http://hostname:10088/efm/api/agent-manifests?class=iot4
[{"identifier":"agent-manifest-id","agentType":"minifi-java","version":"1","buildInfo":{"timestamp":1556628651811,"compiler":"JDK 8"},"bundles":[{"group":"default","artifact":"system","version":"unversioned","componentManifest":{"controllerServices":[],"processors":

4. 调用API端点：

http://hostname:10088/efm/swagger/

5. 点击DELETE - Delete the agent manifest specified by id按钮，在id字段中输入agent-manifest-id