データ接続と統合パイプラインの最適化とデバッグデータセットプロジェクションプロジェクションの設定

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

プロジェクションを設定する

以下では、データセットのプロジェクションを有効にし、設定してビルドする手順を説明します。

データセットのプロジェクションを有効にする

Noho は、データセットのプロジェクションを管理するサービスです。データセットのスキーマで noho: true を設定すると、プロジェクションが有効になります。

データセットのスキーマは、トランスフォームからデータセットを書き込む際に設定するか、詳細タブで手動で変更できます。

Copied!
1 2 3 4 5 6 7 8 9 10 from transforms.api import transform, Input, Output @transform( output_dataset=Output('/examples/example_output') input_dataset=Input('/examples/example_input'), ) def compute(output_dataset, input_dataset): input_dataset = input_dataset.dataframe() output_dataset.write_dataframe(input_dataset, options={"noho": "true"})
データセットのスキーマでプロジェクションを有効にします。

プロジェクションタブに移動する

スキーマに noho: true が設定されていて、データセットの編集権限がある場合、データセットを表示するとプロジェクションタブが表示されます。

データセットプレビューのプロジェクションタブに移動します。

作成ダイアログを開く

新規プロジェクションを追加を選択します。

プロジェクションタブで新しいプロジェクションを追加します。

プロジェクションの列を選択する

プロジェクションに含める列を選択します。

すべての列または特定の列のみを追加するか、除外する列を選択します。

ほとんどの場合、すべての列が適切です。ただし、クエリで列の一部のみを選択することがわかっている場合は、この設定を調整できます。

プロジェクションの種類を選択する

プロジェクションの種類を選択します。

プロジェクションでフィルタリングと結合のどちらを最適化するかを選択します。

  • フィルター最適化プロジェクションの場合は、絞り込みに使用する列を選択します。
    • プロジェクションで高速化されるのは、このリストの先頭から連続する列を使用するクエリのみなので、順序が重要です。
  • 結合最適化プロジェクションの場合は、結合列とバケット数を選択します。
    • 結合が高速化されるのは、この列の組み合わせと完全に一致する場合のみです。
    • 明示的にバケット化されたデータセット、または別の結合最適化データセットと結合する場合、バケット数が 等しい必要があります。

プロジェクションを作成する

プロジェクションを作成ボタンを選択します。

プロジェクションはすべての列を選択するように設定され、データセットの column1 での絞り込みを最適化しています。

これでプロジェクションが作成されましたが、データはまだ含まれていません。この状態は、プロジェクションの横にある赤い警告アイコンで示されます。クエリでプロジェクションを使用するには、まず次の手順に従ってビルドする必要があります。

ビルドを設定する

リソース使用量をより細かく制御できるように、プロジェクションを維持する内部ビルドは自動ではスケジュールされません。明示的に設定する必要があります。

まず、現在のブランチでプロジェクションのビルドを有効にするスイッチをオンにします。これにより、現在のブランチでビルドを実行できるようになります。

次に、ビルドのスケジュールを設定します。別のブランチでビルドをスケジュールする場合は、 そのブランチに移動して同じ手順を繰り返す必要があります。

スイッチをオンにして、現在のブランチでプロジェクションのビルドを有効にします。

ビルドセクションでビルドスケジュールを追加するかどうかを選択します。

ビルドは毎日午前12時31分(EST)にスケジュールされています。

(任意)プロジェクションをビルドする

スケジュールされたビルドを待ちたくない場合は、ビルドボタンを選択して、プロジェクションを明示的にビルドします。

ビルドセクションの上にあるハンマーのアイコンを選択して、プロジェクションのビルドを手動で開始します。

ビルドが完了するまで待ちます。プロジェクションが最新になるまでに、ビルドが複数回実行される場合があります。プロジェクションのビルドステータスの行の横に緑色のチェックマークが表示されると、プロジェクションが完全に最新の状態になったことを示します。

円の中の緑色のチェックマークが示すとおり、プロジェクションのビルドが成功しました。

これでプロジェクションは最新の状態になり、データセットの読み取りに使用されます。