設定リファレンス

SDDI のパイプラインは、完全に自動化されたコードリポジトリによって生成されます。関連する手順を確認するには、パイプラインの生成を参照してください。Cockpit はこれらの設定を操作するためのデフォルトの場所ですが、高度なパラメーターや標準以外のソースの種類を設定するには、設定ファイルを手動で修正する必要がある場合があります。

設定は、transforms-bellhop/src/config/ フォルダーにある2つの主要なファイル内で行います。

• SourceConfig.yaml
• PipelineConfig.yaml

SourceConfig.yaml

以下は、すべての設定を定義した SourceConfig ファイルの例です。

Copied!
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
sourceName: MY_SOURCE
sourceRid: ri.magritte..source.abcdefgh-1234-5678-910a-zyxwvut
sapContext:
  type: direct
rawFolderStructure:
  raw: /HyperAuto/source/raw
  dataDictionary: /HyperAuto/source/metadata
cleaningLibraries:
  - convert_all_columns_to_clean_types
deploymentSemanticVersion: 2
metadataSparkProfiles:
  - DRIVER_MEMORY_MEDIUM
languageKey: 'E'
tables:
  - tableName: ABCD
    datasetTransformsConfig:
      datasetName: ABCD
      deduplicationComparisonColumns: []
      batchUnionComponents: []
      tableCleaningLibraries: []
  - tableName: WXYZ
    datasetTransformsConfig:
      datasetName: WXYZ
      deduplicationComparisonColumns:
        - /PALANTIR/TIMESTAMP
        - /PALANTIR/ROWNO
      batchUnionComponents:
        - WXYZ_historical
        - WXYZ_incremental
      tableCleaningLibraries:
        - parse_timestamp_column
      sparkProfiles:
        profiles:
          - EXECUTOR_MEMORY_MEDIUM
          - NUM_EXECUTORS_4

パラメーターの説明

sapContext

（任意）SAP コンテキストの詳細です。SAP Explorer はこれを使用してコンテキストを事前に選択します。コンテキストごとに専用の SourceConfig ファイルが必要です。

rawFolderStructure

生データとメタデータが格納されるフォルダーを定義します。

項目：

• raw： 生データのテーブルが取り込まれるフォルダーのパスです。
• dataDictionary： （任意、デフォルト: raw）メタデータテーブルが取り込まれるフォルダーのパスです。

cleaningLibraries

すべてのテーブルに適用するクリーニングライブラリのリストです。クリーニング関数は transforms-bellhop/src/software_defined_integrations/transforms/cleaned/function_libraries で定義されています。

関数を追加または削除するには、deploymentSemanticVersion の値を増やす必要があります。

deduplicationConfig

（任意、デフォルト: None）重複排除ロジックに使用する列を指定するための設定です。ここで定義された設定は、すべてのテーブルに適用されます。

項目：

• comparisonColumns： 主キーの一意性を判定するために最大値を取得する列です。
• changeModeColumn： （任意）指定すると、この列の値が D の行が削除されます。

deploymentSemanticVersion

（任意、デフォルト: 0）パイプラインのセマンティックバージョンです。値を増やすと、スナップショットが強制されます。

deploymentSemanticVersion がインクリメンタル（差分処理）トランスフォームおよびスナップショットトランスフォームに与える影響については、インクリメンタルトランスフォームを参照してください。

metadataSparkProfiles

（任意、デフォルト: None）メタデータデータセット（objects、fields、links、diffs）の生成に適用する Spark プロファイルのリストです。

ここでプロファイルを参照する前に、必ずリポジトリに追加してください。

tables

定義されたソースから SDDI が処理するテーブルのリストです。

項目：

• tableName： メタデータ内のテーブル名です。
• datasetTransformsConfig
  • datasetName： 生データの Foundry データセット名です。
  • deduplicationComparisonColumns： データの重複排除と、重複排除ロジックに使用する列の指定に使用される、テーブル固有の設定です。グローバルな重複排除項目の後に適用されます。
  • changeModeColumn： （任意）指定すると、この列の値が D の行が削除されます。グローバルな変更モード列より優先して適用されます。
  • batchUnionComponents： クリーニングステップの前に和集合を取る入力データセット名のリストです。
  • sparkProfiles： （任意）トランスフォームのさまざまな段階で適用する Spark プロファイルです。
    • profiles： Spark プロファイルです。リポジトリへの追加に関する詳細を参照してください。
    • stages： （任意、デフォルト: None）プロファイルを適用するトランスフォームの段階です。値は [CLEANED, DERIVED, ENRICHED, FINAL, RENAMED, RENAMED_CHANGELOG] のいずれかにする必要があります。None の場合、プロファイルはすべての段階に適用されます。
  • tableCleaningLibraries： このテーブルに適用するクリーニングライブラリのリストです。クリーニング関数は transforms-bellhop/src/software_defined_integrations/transforms/cleaned/function_libraries で定義されています。関数を追加または削除するには、deploymentSemanticVersion の値を増やす必要があります。
  • enforceUniquePrimaryKeys： （任意、デフォルト: False）。True で、かつ deduplicationComparisonColumns が定義されている場合、重複排除の段階で主キーごとに1件のレコードのみが保持されることを保証します。これにより、非決定論的な動作が生じる可能性があります。

PipelineConfig.yaml

すべての設定を定義した PipelineConfig ファイルの例です。

Copied!
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
sourceName: HyperAuto
sourceType: SAP_ERP
sourceConfigFileNames:
  - SourceConfig.yaml
outputFolder: /HyperAuto/source/output
workflows:
  my_workflow:
    variables:
      - name: my_variable_name
        value: my_variable_value
    enrichments:
      - my_enrichment_name
tables:
  ABCD:
    displayName: Header Table
    types:
      - OBJECT
  WXYZ:
    displayName: Item Table
    types:
      - OBJECT
      - METADATA
disableForeignKeyGeneration: False
disableEnrichedStage: False
disableRenamedStage: False

パラメーターの説明

tables

この SDDI パイプラインで処理されるテーブルのリストです。

• displayName： 人が読みやすいテーブル名です。出力データセット名は displayName (technicalName) の形式で構成されます。
• types： このテーブルが表すデータの種類のリストです（複数指定できます）。
  • OBJECT： オントロジー内のオブジェクトを構成するマスターデータテーブルです。
  • METADATA： オブジェクトおよび主キーの構成に関する情報を含むメタデータテーブルです。
  • CUSTOMIZATION： SDDI パイプラインの enriched ステップでマスターデータテーブルに結合されるエンリッチメントテーブルです。