注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
Pipeline Builder でストリーミングパイプラインを作成する
このチュートリアルでは、Foundry Streaming と Pipeline Builder を使用して、センサーの温度情報を含む1個のデータセットを出力するシンプルなパイプラインを作成します。Foundry でストリームを作成し、そのストリームにレコードをプッシュして、Pipeline Builder で加工する方法を学びます。
パート1. 初期セットアップ
まず、新しいストリームを作成する必要があります。
- Foundry にログインした状態で、Foundry のプロジェクトに移動し、右上隅の + 新規を選択してから、ストリームを選択します。
- 次に、ストリームを定義する必要があります。このガイドでは、1個のパーティションを持つシンプルなストリームを作成し、手動でレコードをプッシュします。
定義ページで、スループットに通常を選択し、基本的なスキーマを sensor_id: String、temperature: Double として定義します。
- ストリームを作成を選択します。接続するページに移動し、ストリーミングデータへの接続方法を指定できます。
パート2. ストリームにレコードをプッシュする
これで、ストリームに接続する準備ができました。この時点で、ソースを使用してストリーミングデータの取り込みタスクを設定することもできます。このチュートリアルでは、代わりに Curl を使用して手動でストリームにレコードをプッシュします。
- まず、ストリームの認証を設定するには、API 経由で接続セクションで Curl（Bash） を選択します。レコードの送信には個人トークンを使用します。
-
個人トークンでテストを選択し、画面上の指示に従って有効期間の短い個人トークンを生成します。
本番パイプラインでは個人トークンを使用しないでください。本番パイプラインでは OAuth トークンのワークフローを使用してください。
- 生成したトークンをテキストボックスに貼り付け、次の手順をクリックします。
- Curl コマンドをコピーします。コンピューターで Bash を実行できるターミナルを開き、コマンドを貼り付けます。ターミナルでコマンドを実行します。
数秒以内に、ページ上のストリームビューアーにレコードが表示されます。
これで、ストリーミングデータをリアルタイムで取り込めました。次に、そのデータを加工します。
パート3. ストリームを加工する
- パイプラインを開始ボタンを選択して、Pipeline Builder で基本的なストリーミングデータ加工の作成を開始します。
- 新規パイプラインの作成モーダルで、ストリーミングパイプラインの種類を選択し、パイプラインの作成をクリックします。
入力ストリーム用のパイプラインが作成され、グラフに表示されます。
入力ストリームノードを選択すると、データのプレビューが表示されます。プレビューはストリームのコールドストレージビューに対して実行されるため、ストリームのレコードが表示されるまでには遅延があります。
-
グラフ上の入力ストリームノードをクリックし、データ加工アクション（入力ノードの横にある青い T アイコン）を選択します。
ストリーム内の列の入力データ型に基づいて、ストリームで現在サポートされているすべてのデータ加工の一覧が開きます。このチュートリアルでは、すべての
sensor_idsを大文字に変換し、空白をすべて削除して、温度が3度を超えるものに絞り込みます。
- 大文字のデータ加工を選択し、
sensor_id列を選択して、適用をクリックします。
- 次に、空白をトリムするのデータ加工を検索して選択します。再び
sensor_id列を選択し、適用をクリックします。
- 最後のデータ加工では、まずフィルターのデータ加工を検索し、残すを選択します。次に、
temperature列を選択し、フィルターを次の値より大きい3に設定して、適用を選択します。
- 画面右上のすべての変更を適用をクリックします。次に、グラフに戻るを選択して、パイプラインに戻ります。
- 作成したデータ加工パスノードを選択し、新規データセットをクリックします。
- アプリケーションの右上隅で、まず保存をクリックして、すべての新しい変更をパイプラインに適用します。次に、デプロイ、パイプラインをデプロイの順にクリックします。
デプロイを開始する前に、Foundry はパイプラインをデプロイできるかどうかを検証します。この検証では、パイプラインの設定と必要なリソースがデプロイ可能な状態かどうかを確認します。検証に失敗した場合は、デプロイダイアログのメッセージを確認し、各問題を解決してから変更を保存し、再度デプロイします。
変更を保存してもデプロイしなければ、パイプラインのロジックは最新の変更に更新されません。データ加工のロジックへの変更を反映するには、パイプラインをデプロイする必要があります。
- 作成した出力ストリームノードを選択し、グラフの下部にあるプレビューセクションの上のストリーム名をクリックします。
データ加工の出力ストリームを表示するストリームプレビューページに移動します。
ストリーミングクラスターの起動には約1分かかるため、レコードがすぐに表示されない場合があります。ただし、起動後は、クラスターがすべての新しいレコードをリアルタイムで処理します。
次のステップ
シンプルなストリーミングパイプラインの作成方法を理解したら、失敗しているストリームをデバッグする方法を調べて、ストリームの管理についてさらに学びましょう。より高度なデータ加工機能については、Pipeline Builder の詳しくはこちらをご覧ください。