注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
Pipeline Builder のヒントとコツ
初めてパイプラインを作成する場合でも、本番環境のワークフローを改善する場合でも、以下のヒントを活用すると、作業を効率化し、整理された状態を保ち、Pipeline Builder をさらに活用できます。すでにパイプラインを設定済みの場合は、パイプラインを改善するに進んで、パフォーマンスと信頼性を向上させるためのヒントを確認できます。
より速く構築する
ユーザー設定を構成する
- Pipeline Builder の画面右上にある設定メニューに移動し、ユーザー設定を選択して、設定を構成して保存します。
よく使われる設定として、折りたたまれた変換スタイルと変換パスに自動的に名前を付けるの2つがあります。折りたたまれた変換スタイルで擬似コードを選択すると、データ加工がプログラミングコードに似た形式で表示されます。擬似コードは、特定のプログラミング言語の構文には従いません。
ショートカットキー（自動レイアウト、ズーム、非表示など）
- Pipeline Builder の左上にあるヘルプドロップダウンメニューを開きます。
- ホットキーを表示を選択すると、Pipeline Builder のショートカットキーの完全なリファレンスが開きます。
よく使われるショートカットキーには、次のものがあります。
Cmd+F(macOS) またはCtrl+F(Windows)：パイプライン検索パネルを開き、検索バーにカーソルを移動しますUp Arrow：ズームして、パイプラインのすべてのノードを画面に収めますCmd+H(macOS) またはCtrl+H(Windows)：選択したノードを非表示にしますCmd+K(macOS) またはCtrl+K(Windows)：非表示のノードをすべて再表示しますCmd+D(macOS) またはCtrl+D(Windows)：ノードの子を選択しますCmd+E(macOS) またはCtrl+E(Windows)：ノードの親を選択しますCmd+C(macOS) またはCtrl+C(Windows)：ノードをクリップボードにコピーします
ノードをコピーして貼り付ける
- コピーするノードを選択します。右上の選択ボタンを使うか、
Cmd+A(macOS) またはCtrl+A(Windows) を使って、現在のパイプラインのすべてのノードを選択します。必要に応じて、個々のノードを選択することも、ノードを囲むように選択してドラッグし、ノードのグループを選択することもできます。 - 右クリックしてコピーを選択するか、
Cmd+C(macOS) またはCtrl+C(Windows) を使って、選択したノードをコピーします。
- 貼り付け先のパイプラインに移動し、右クリックして貼り付けを選択するか、
Cmd+V(macOS) またはCtrl+V(Windows) を使って貼り付けます。
ノードをコピーして貼り付けると、カラーグループの割り当てが保持されます。異なるパイプライン間でノードを貼り付ける場合も同様です。
クリックしてドラッグし、ノードを接続する
- 入力として使うノードの出力の円を選択します。
- その出力を、出力を受け取るノードの入力の円にドラッグします。
未保存の変更を表示する
- 画面右側のサイドバーメニューに移動し、変更の表示を選択します。ここでは、現在のブランチの未保存の変更を表示し、ほかの Pipeline Builder ブランチと比較できます。
ノードごとに含めるデータ加工の数を決める
- ノードごとのデータ加工数に固定の上限はありません。一般的なベストプラクティスとして、すべてを1個のノードにまとめるのではなく、大きなデータ加工関数を複数のノードに分けてつなげることを推奨します。これにより、パイプラインの保守、トラブルシューティング、更新が容易になります。
- Pipeline Builder はカスタム関数もサポートしています。カスタム関数では、一連のデータ加工ボードを再利用可能な1個のデータ加工にまとめ、パイプライン全体で再利用できます。カスタムデータ加工パスを設定するには、データ加工ノード内で + アイコンを選択します。
LLM で仮想データを生成する
- 手動入力のテーブルに列を追加したら、右上のデータを生成を選択します。
- 列ごとに、データを自動入力するドロップダウンでデータ型を選択するか、LLM で生成を選択してカスタムプロンプトを入力します。
- プロンプトの設定が完了したら、右下のテーブルを生成を選択して、テーブルにデータを入力します。
構築と理解のための AI ツール
Pipeline Builder には、パイプラインのロジックを生成したり説明したりするための AI 支援ツールがいくつか用意されています。パイプラインで大規模言語モデル (LLM) を直接使うには、Pipeline Builder で LLM を使うを参照してください。
AI 生成を使って新しいデータ加工ノードを構築する
- 構築の起点とするノードを選択し、メニューから生成するを選択します。
- 次に、テキストボックスにプロンプトを入力し、生成するを選択します。
- Pipeline Builder は、選択したノードの後に新しいノードを生成します。このノードは、パイプライン内のほかのノードと同様に名前を変更できます。
AI 説明を使ってパイプラインのロジックの概要を生成する
- 説明するノードを選択し、グラフ表示の上部中央にある紫色の電球アイコンを選択します。Pipeline Builder は、選択したノードのロジックの概要をテキストボックスに文章で生成します。
- データ加工ボードの右上にある紫色の電球を選択すると、ノード内で直接説明機能を使うこともできます。
AIP 正規表現ヘルパーを使って LLM で正規表現パターンを生成する
- 正規表現関数を実行するデータセットを選択し、変換パネルを開きます。
- 変換ウィンドウで、必要な正規表現関数と対象の列を選択します。
- パターン入力ボックスの右側にある紫色の星アイコンを選択し、プロンプトを入力します。
- 生成するを選択し、続いて適用を選択して出力を確認します。グラフ表示に戻り、データ加工の出力をプレビューして結果を確認します。
AI FDE を使ってパイプラインの作成と構築を支援する
- 画面左側のアプリケーションメニューに移動し、AI FDE を検索します。
- AI FDE アプリケーションを開いたら、リンクをコピーしてチャットボックスに貼り付けることで、既存のパイプラインをリソースとして追加できます。
- その後、AI FDE にプロンプトを入力して、パイプラインに追加のノードを構築するよう依頼できます。
パイプラインを改善する
高速パイプラインモード
高速パイプラインは、標準バッチパイプラインで利用可能な機能の一部をサポートしています。サポートされていないデータ加工には、LLM 機能、地理空間機能、メディアセットの操作が含まれます。新しい高速パイプラインを作成したり、既存のパイプラインを変換したりする前に、既知の制限事項を確認してください。
- 新しいバッチパイプラインを作成する際に、バッチ計算を選択メニューから高速を選択します。
- 既存の標準バッチパイプラインを高速パイプラインに変換することもできます。標準パイプラインの設定メニューから高速パイプラインに変換を選択します。
- 高速パイプラインに変換を選択したら、パイプラインを変換ボタンを選択して変換を確定します。
パイプラインに高速パイプラインで対応していない機能が含まれている場合は、変換前に削除または変更する必要がある内容を示すエラーメッセージが表示されます。変換チェックを有効にすると、下部パネルを使用してパイプライン内でこれらの警告を表示することもできます。
ビルド時間を短縮するコンピュートプロファイル
Pipeline Builder は、埋め込みや LLM などのモデルによって計算コストが高くなるデータ加工に対して、警告メッセージを表示します。これらの警告は、適切なコンピュートリソースを設定できるビルド設定メニューへ案内します。
- パイプラインを作成したら、画面の右端にあるビルド設定メニューに移動して、コンピュート設定をさらに調整します。
- ビルド設定メニューで、デフォルトコンピュートプロファイルに移動し、現在のコンピュートプロファイルのサイズが表示されているドロップダウンを選択します。標準バッチパイプラインでは、極小、小、中のコンピュートプロファイルが自動的に利用可能になります。大および特大のプロファイルは、使用前にプロジェクトにインポートする必要があります。これには、Compass プロジェクトの編集者または所有者ロールと、Resource Management の管理者ロールが必要です。必要な権限がない場合、これらのプロファイルは選択ドロップダウンで無効として表示されます。高速パイプラインとストリーミングパイプラインには、これらの権限要件は適用されません。詳細については、コンピュートプロファイルの権限を参照してください。
- プロファイル管理戦略ドロップダウンを選択します。3つの選択肢が利用可能ですが、高速パイプラインは標準戦略のみをサポートします。ニーズに最も適した選択肢を選択します。
- 標準： 追加の最適化を行わない、デフォルトのコンピュートプロファイル設定です。データ量が予測可能な、本番規模のパイプラインに最適です。
- ウォームプール： 仮想マシンを継続的に実行して、パイプラインの起動時間を短縮します。小規模で反復的に実行するパイプラインや、低遅延の開発タスクに最適です。
- マネージドプロファイル： パイプラインの直近5回の実行に基づいて、コンピュートリソースの割り当てを自動的に調整します。データサイズが変動するパイプラインや、コンピュートコストの管理が必要なパイプラインに最適です。
プレビューデータを絞り込む
- サンプリング元の入力データセットを右クリックし、ドロップダウンメニューからサンプリング戦略を選択します。設定したサンプリング戦略は、サンプリングした入力の後に続くすべてのノードに適用されます。
- パイプライン内で、サンプリング戦略を設定するデータセットを選択します。フィルター処理済みプレビューでは、任意の式に基づいて行を絞り込めます。次の例では、
original_languageがenの行のみが保持されます。
同じサンプリング戦略を複数の入力に一度に適用するには、すべてに適用ボタンを使用します。メディアセットが割合によるフィルタリングをサポートしていない場合など、一部の入力が選択した戦略をサポートしていない場合は、システムに警告が表示されます。
パイプラインの信頼性を確保するユニットテスト
- 右側のメニューのアイコンを選択し、+ 新規テストボタンを選択して、テストするデータ加工を選択すると、新しいユニットテストを作成できます。
- 次に、スキーマを選択し（手動または既存のデータセットから）、ユニットテスト入力ノードにテストデータを1行入力して、ユニットテスト出力ノードに期待される出力を入力し、テストを設定します。
- テストを設定したら、テストを実行を選択し、結果を表示します。詳細については、Pipeline Builder のユニットテストを参照してください。
わかりやすく整理する
整理に使用するフォルダーとカラーグループ
- Pipeline Builder でノードのフォルダーを設定するには、画面の右端にあるファイルアイコンを選択します。パイプラインファイルツリーパネルでは、新しいフォルダーの作成、フォルダーへのノードの配置、特定のフォルダー内のノードの表示または非表示を行えます。
- ノードを色分けし、その色分けに基づいて複数のノードを1個のノードに折りたたむこともできます。
ドキュメント用のテキストノード
- グラフ表示のツールバーから新規テキストノードを追加を選択します。テキストノードは Markdown をサポートし、グラフ内のどのノードよりも背面に配置されます。テキストノードについては詳しくはこちら。
列名を検索して置換する
- 画面の右側にある検索パネルに移動します。このパネルから、パイプライン内の列名を検索して置換できます。
ノードの自動配置とグリッドスナップ
グラフ表示のツールバーにある自動配置とグリッドスナップのオプションを使用して、ノードを揃え、読みやすくします。
