データ接続と統合HyperAuto (SDDI)HyperAuto V1 [サンセット]よくある質問

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

HyperAuto V1 FAQ

サンセット

HyperAuto V1 は開発のサンセットフェーズにあり、将来廃止される予定です。引き続き完全なサポートを利用できます。新しい V1 パイプラインの作成は推奨されません。移行ドキュメントの説明に従って、HyperAuto V1 から V2 に移行してください。

一般的な使用上のヒントとガイダンス

SDDI リポジトリでコードをデバッグおよびプレビューできますか?

はい、SDDI リポジトリでコードをデバッグおよびプレビューできます。SDDI リポジトリでファイル /transforms-bellhop/src/software_defined_data_integrations/transforms/pipeline_builder.py に移動し、プレビューボタンからプレビューするトランスフォームを選択します。

新しいテーブルが自動的に追加されるスケジュールを設定できますか?

SDDI リポジトリは、リポジトリが生成するすべての最終データセットに接続された BUILD というデータセットを生成します。新しく取り込まれたすべてのテーブルが確実にビルドされるようにするには、この BUILD データセットを対象とする新しいフルビルドスケジュール(上流データセットを含む)を作成します。スマートスケジューラーは、生データが更新されたパイプライン部分に対してのみビルドを開始します。

テーブルまたは derived_element の1つが MODULE_UNREACHABLE により失敗しています。どうすればよいですか?

MODULE_UNREACHABLE は、多くの場合、Spark 環境の DRIVER_MEMORY が不足していることを示します。SourceConfig.yaml ファイルで、選択したテーブルに Spark プロファイルを適用できます。詳細は設定リファレンスを参照してください。まず、リポジトリの設定に割り当てられたプロファイルをインポートすることを忘れないでください。

パイプラインにテーブル <TABLE_NAME> を追加しましたが、パイプラインをビルドしようとすると AssertionError: 0 instances of <TABLE_NAME> found in 'objects' metadata table で失敗します

新しいテーブルを取り込んで SDDI パイプラインに追加した後、メタデータデータセット objects、links、fields、diffs を再実行したことを確認してください。

Bellhop 設定ファイルに新しいテーブルを追加する場合、セマンティックバージョンを上げる必要がありますか?

いいえ、Bellhop 設定ファイルに新しいテーブルを追加した後にセマンティックバージョンを上げる必要はありません。ただし、メタデータデータセット objects、links、fields、diffs を再ビルドする必要があります。

SDDI リポジトリが生成する中間ステージの一部を無効にできますか?

はい。外部キーの生成、エンリッチメントステージ、名前変更ステージは、PipelineConfig ファイルのパラメーターを使用して無効にできます。変更を反映するには、deploymentSemanticVersion を上げる必要があります。

これらのステップのいずれか、またはすべてを無効にすると、データスキーマに影響が生じ、下流でのデータ利用に支障をきたす可能性があります。