注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

Pipeline Builder のヒントとコツ

初めてパイプラインを作成する場合も、本番環境のワークフローを改善する場合も、以下のヒントは、作業を効率化し、整理された状態を保ち、Pipeline Builder をさらに活用するのに役立ちます。すでにパイプラインを設定している場合は、パイプラインを改善するに進むと、パフォーマンスと信頼性を向上させるためのヒントを確認できます。

より速く構築する

ユーザー設定を構成する

  1. Pipeline Builder の表示の右上にある設定メニューに移動し、ユーザー設定を選択して、設定を構成し保存します。

    ドロップダウンメニューからユーザー設定を選択します。

    ユーザー設定メニュー。

    よく使われる設定には、折りたたまれた変換スタイルと変換パスに自動的に名前を付けるの2つがあります。折りたたまれた変換スタイルで擬似コードを選択すると、データ加工がプログラミングコードに似た形式で表示されます。擬似コードは、特定のプログラミング言語の構文には従いません。

擬似コード表示の例。

ショートカットキー(自動レイアウト、ズーム、非表示など)

  1. Pipeline Builder の左上にあるヘルプドロップダウンメニューを開きます。

    ヘルプのドロップダウンメニューからホットキーを表示を選択します。

  2. ホットキーを表示を選択して、Pipeline Builder のショートカットキーの全リファレンスを開きます。

    ショートカットキーの全リファレンスパネル。

よく使われるショートカットキーには、次のものがあります。

  • Cmd+F (macOS) または Ctrl+F (Windows):パイプライン検索パネルを開き、検索バーにカーソルを移動します
  • Up Arrow:ズームして、すべてのパイプラインノードが画面に収まるようにします
  • Cmd+H (macOS) または Ctrl+H (Windows):選択したノードを非表示にします
  • Cmd+K (macOS) または Ctrl+K (Windows):非表示のノードをすべて再表示します
  • Cmd+D (macOS) または Ctrl+D (Windows):ノードの子を選択します
  • Cmd+E (macOS) または Ctrl+E (Windows):ノードの親を選択します
  • Cmd+C (macOS) または Ctrl+C (Windows):ノードをクリップボードにコピーします

ノードをコピーして貼り付ける

  1. コピーするノードを選択します。右上の選択ボタンを使うか、Cmd+A (macOS) または Ctrl+A (Windows) を使って、現在のパイプラインのすべてのノードを選択します。必要に応じて、個々のノードを選択することも、ノードの周囲をドラッグしてノードのグループを選択することもできます。
  2. 右クリックしてコピーを選択するか、Cmd+C (macOS) または Ctrl+C (Windows) を使って、選択したノードをコピーします。

    選択したノードをコピーします。

  3. 貼り付け先のパイプラインに移動し、右クリックして貼り付けを選択するか、Cmd+V (macOS) または Ctrl+V (Windows) を使って貼り付けます。

ノードをコピーして貼り付けると、異なるパイプライン間で貼り付ける場合も含め、カラーグループの割り当てが保持されます。

クリックしてドラッグし、ノードを接続する

  1. 入力として使用するノードの出力の円を選択します。

    ノードの出力の円。

  2. その出力を、出力の受け取り先となるノードの入力の円にドラッグします。

    ノードの入力の円。

未保存の変更を表示する

  1. 画面の右側にあるサイドバーメニューに移動し、変更の表示を選択します。ここでは、現在のブランチの未保存の変更を表示し、ほかの Pipeline Builder ブランチと比較できます。

    サイドバーから変更の表示を選択します。

ノードごとに配置するデータ加工の数を決める

  • ノードごとのデータ加工の数に固定の上限はありません。一般的なベストプラクティスとして、すべてを1個のノードにまとめるのではなく、大きな加工関数を複数のノードに分けてつなぎます。これにより、パイプラインの保守、トラブルシューティング、更新が容易になります。
  • Pipeline Builder はカスタム関数もサポートしています。カスタム関数を使うと、一連のデータ加工ボードを1個の再利用可能なデータ加工にまとめ、パイプライン全体で再利用できます。データ加工ノード内で + アイコンを選択すると、カスタムデータ加工パスを設定できます。

    カスタムデータ加工を作成します。

LLM で架空のデータを生成する

  1. 手動入力テーブルに列を追加したら、右上のデータを生成を選択します。
  2. 列ごとに、データを自動入力するドロップダウンでデータ型を選択するか、LLM で生成を選択してカスタムプロンプトを入力します。
  3. プロンプトを設定したら、右下のテーブルを生成を選択してテーブルにデータを入力します。

    架空の入力データを生成します。

構築と理解を支援する AI ツール

Pipeline Builder には、パイプラインのロジックを生成、説明するための AI 支援ツールがいくつか用意されています。パイプラインで大規模言語モデル (LLM) を直接使用するには、Pipeline Builder で LLM を使用するを参照してください。

AI 生成を使って新しいデータ加工ノードを作成する

  1. 作成の起点となるノードを選択し、メニューから生成するを選択します。

    AI 生成に使用するノードを選択します。

  2. 次に、テキストボックスにプロンプトを入力し、生成するを選択します。

    AI 生成用のプロンプトを入力します。

  3. Pipeline Builder が選択したノードの後に新しいノードを生成します。このノードは、パイプライン内のほかのノードと同様に名前を変更できます。

AI 説明を使ってパイプラインのロジックの概要を生成する

  1. 説明するノードを選択し、グラフ表示の上部中央にある紫色の電球アイコンを選択します。Pipeline Builder が、選択したノードのロジックの概要を文章で生成し、テキストボックスに表示します。

    AI 説明の出力パネル。

  2. データ加工ボードの右上にある紫色の電球を選択して、ノード内で直接説明を利用することもできます。

    データ加工ボード上の AI 説明アイコン。

AIP 正規表現ヘルパーを使って LLM で正規表現パターンを生成する

  1. 正規表現関数を実行するデータセットを選択し、変換パネルを開きます。
  2. 変換ウィンドウで、必要な正規表現関数と対象の列を選択します。
  3. パターン入力ボックスの右側にある紫色の星アイコンを選択し、プロンプトを入力します。

    データ加工内の AIP 正規表現ヘルパー。

  4. 生成するを選択し、適用を選択して出力を確認します。グラフ表示に戻り、データ加工の出力をプレビューして結果を確認します。

AI FDE を使ってパイプラインの作成とビルドを支援する

  1. 画面左側のアプリケーションメニューに移動し、AI FDE を検索します。
  2. AI FDE アプリケーションを開いたら、チャットボックスにリンクをコピーして貼り付けることで、既存のパイプラインをリソースとして追加できます。
  3. そこから、パイプラインにノードを追加するよう AI FDE に指示できます。

    AI FDE コンソール。

パイプラインを改善する

高速パイプラインモード

高速パイプラインは、標準のバッチパイプラインで利用可能な機能の一部をサポートしています。サポートされていない式には、一部の地理空間式や配列式が含まれます。特定の式が高速パイプラインでサポートされているかどうかは、関数の一覧で確認し、既存のパイプラインを高速パイプラインに変換する前に、既知の制限事項を確認してください。

  1. 新しいバッチパイプラインを作成すると、バッチ計算を選択メニューで高速がデフォルトで選択されます。
  2. 既存の標準バッチパイプラインを高速パイプラインに変換することもできます。標準パイプラインの設定メニューから高速パイプラインに変換を選択します。

    高速パイプラインに変換の選択肢。

  3. 高速パイプラインに変換を選択したら、パイプラインを変換ボタンを選択して変換を確定します。

高速パイプラインに対応していない機能がパイプラインに含まれている場合、変換前に削除または変更する必要がある内容を示すエラーメッセージが表示されます。また、下部パネルで変換チェックを有効にすると、パイプライン内でこれらの警告を確認できます。

高速パイプラインへの変換中に表示される警告。

ビルド時間を短縮するためのコンピュートプロファイル

Pipeline Builder では、埋め込みや LLM などのモデルによって計算負荷が高くなるデータ加工に警告メッセージが表示されます。これらの警告は、適切なコンピュートリソースを設定できるビルド設定メニューへと案内します。

  1. パイプラインを作成したら、画面の右端にあるビルド設定メニューに移動して、コンピュート設定をさらに調整します。
  2. ビルド設定メニューでデフォルトコンピュートプロファイルに移動し、現在のコンピュートプロファイルのサイズが表示されているドロップダウンを選択します。標準バッチパイプラインでは、特小、小、中のコンピュートプロファイルが自動的に利用可能になります。大および特大のプロファイルは、使用する前にプロジェクトにインポートする必要があります。これには、Compass プロジェクトの編集者または所有者ロールと、Resource Management の管理者ロールが必要です。必要な権限がない場合、これらのプロファイルは選択用ドロップダウンで無効として表示されます。高速パイプラインとストリーミングパイプラインには、これらの権限要件は適用されません。詳細は、コンピュートプロファイルの権限を参照してください。
  3. プロファイル管理戦略ドロップダウンを選択します。3つの選択肢が利用可能ですが、高速パイプラインでサポートされているのは標準戦略のみです。ニーズに最も適した選択肢を選択します。
    • 標準: 追加の最適化を行わない、デフォルトのコンピュートプロファイル設定です。データ量が予測可能な、本番規模のパイプラインに最適です。
    • ウォームプール: 仮想マシンを継続的に稼働させ、パイプラインの起動時間を短縮します。小規模で反復的なパイプラインや、低遅延が求められる開発タスクに最適です。
    • マネージドプロファイル: パイプラインの直近5回の実行に基づいて、コンピュートリソースの割り当てを自動的に調整します。データサイズが変動するパイプラインや、コンピュートコストの管理が必要なパイプラインに最適です。

      ビルド設定でコンピュートプロファイルを設定します。

プレビューデータを絞り込む

  1. サンプリング元の入力データセットを右クリックし、ドロップダウンメニューからサンプリング戦略を選択します。設定したサンプリング戦略は、サンプリングされた入力に続くすべてのノードに適用されます。

    ドロップダウンメニューからサンプリング戦略を選択します。

  2. パイプライン内で、サンプリング戦略を設定するデータセットを選択します。フィルター処理済みプレビューでは、任意の式に基づいて行を絞り込めます。次の例では、original_language が en の行のみが保持されます。

    サンプリング戦略を設定します。

同じサンプリング戦略を複数の入力に一度に適用するには、すべてに適用ボタンを使用します。メディアセットで割合によるフィルタリングがサポートされていない場合など、一部の入力が選択した戦略をサポートしていない場合は、警告が表示されます。

パイプラインの信頼性を確保するためのユニットテスト

  1. 右側のメニューにあるアイコンを選択し、+ 新規テストボタンを選択して、テストするデータ加工を選択すると、新しいユニットテストが作成されます。

    新しいユニットテストを作成します。

  2. 次に、スキーマを手動で、または既存のデータセットから選択し、ユニットテスト入力ノードにテストデータを1行入力し、ユニットテスト出力ノードに期待される出力を入力して、テストを設定します。

    ユニットテストを設定します。

  3. テストを設定したら、テストを実行を選択し、結果を確認します。詳細は、Pipeline Builder でのユニットテストを参照してください。

わかりやすく整理する

整理のためのフォルダーとカラーグループ

  1. Pipeline Builder でノード用のフォルダーを設定するには、画面の右端にあるファイルアイコンを選択します。パイプラインファイルツリーパネルでは、新しいフォルダーの作成、フォルダーへのノードの配置、特定のフォルダー内のノードの表示または非表示を行えます。

    パイプラインファイルツリーパネルでフォルダーを設定します。

  2. ノードに色を付け、色分けに基づいて複数のノードを1個のノードに折りたたむこともできます。

    ノードに色を付け、色に基づいて折りたたみます。

ドキュメント用のテキストノード

  1. グラフ表示のツールバーから新規テキストノードを追加を選択します。テキストノードは Markdown をサポートしており、グラフ内のすべてのノードの背面に配置されます。テキストノードの詳しくはこちら。

    パイプラインのグラフ表示内のテキストノード。

列名を検索して置換する

  1. 画面の右側にある検索パネルに移動します。このパネルから、パイプライン内の列名を検索して置換できます。

    列名を検索して置換します。

ノードの自動レイアウトとグリッドスナップ

グラフ表示のツールバーにある自動レイアウトとグリッドスナップのオプションを使用して、ノードを揃え、読みやすくします。

ノードの自動レイアウトとグリッドスナップのオプション。