注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。
在本教程中,我们将使用Foundry Streaming和Pipeline Builder创建一个简单的管道,其输出为一个包含传感器温度信息的数据集。您将学习如何在Foundry中创建一个流,将记录推送到该流中,并在Pipeline Builder中变换它们。
首先,我们需要创建一个新的流。
在定义页面上,选择Normal作为吞吐量,并定义一个基本的模式为:sensor_id: 字符串
, temperature: Double
。
我们现在准备连接我们的流。在此时,我们可以使用一个数据源来设置一个流数据摄取任务。在本教程中,我们将手动使用Curl将记录推送到流中。
选择使用个人词元测试,并按照屏幕提示生成一个短时效个人词元。
个人词元不应用于生产管道。生产管道应使用OAuth词元工作流。
几秒钟内,您将在页面上的流只读器中看到一个记录出现:
我们现在已经实时摄取了流数据。现在让我们变换这些数据。
这将为输入流创建一个管道,并在图上显示。
选择输入流节点将显示数据的预览。请注意,预览在流的冷存储视图上运行;流中的记录在出现之前会有延迟。
点击图上的输入流节点,并选择变换操作(输入节点旁边的蓝色T图标)。
这将打开一个列表,其中显示了当前支持的所有基于流中列的输入类型的变换。对于本教程,我们将所有sensor_ids
转换为大写,去除其上的空白,并筛选出温度超过三度的记录。
sensor_id
列,然后点击应用。sensor_id
列,然后点击应用。temperature
列,将筛选设置为大于3
,并选择应用。如果您保存更改但未部署,您的管道逻辑将不会更新为最新更改。您必须部署管道以捕获变换逻辑的更改。
这将带您进入变换输出流的流预览页面。
流集群启动大约需要一分钟,因此您可能不会立即看到记录。然而,一旦运行,集群将实时处理所有新记录。
现在您已经知道如何创建一个简单的流式管道,学习更多关于管理流的方法,探索如何调试失败的流。对于更高级的变换功能,请了解更多关于Pipeline Builder的信息。