注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
バッチ同期のセットアップ
バッチ同期機能を使用すると、外部システムから Foundry のデータセットにデータを同期できます。バッチ同期は最も広くサポートされている機能で、ほぼすべてのコネクターで利用可能です。バッチ同期では、スキーマを持つテーブル形式のデータと、スキーマを持たない生ファイルを同期できます。
バッチ同期を作成すると、同期されたデータの書き込み先となる新しい Foundry のデータセットも作成されます。同期を設定した後は、手動で実行するか、スケジュールを設定してビルドをトリガーできます。ビルドでは、外部システムからデータを読み取り、出力データセットに書き込みます。
バッチ同期をセットアップするには、以下の手順に従ってください。このセットアップガイドでは、バッチ同期機能をサポートするソース接続の設定がすでに正常に完了していることを前提としています。
新しいバッチ同期を作成する
まず、Data Connection アプリケーションでソース接続に移動し、概要ページから新規バッチ同期を選択します。新しく設定したソースの場合は、以下のように利用可能な機能が表示されます。バッチ同期の選択肢の横にある作成を選択します。
コネクターがソース探索をサポートしている場合は、ソースを探索して同期を作成を選択してデータソースを探索し、探索表示から直接同期の作成を開始することもできます。詳細については、ソース探索のドキュメントを参照してください。
出力先の場所を指定する
出力先の場所は、同期されたデータのデータセットを作成する場所を定義します。また、プロジェクトレベルの権限に基づいて、作成されたデータにアクセスする権限を持つユーザーが決まります。ソースにはデフォルトの出力フォルダーを指定でき、必要に応じて同期ごとに上書きできます。
同期データセットを作成する際の推奨ベストプラクティスは、コネクターと同じ場所に保存することです。これにより、特定のコネクターからのすべてのデータに一律の権限を付与するパターンを実現でき、データパイプラインの作成に役立ちます。データパイプラインに推奨されるプロジェクト構造について、詳しくはこちらをご覧ください。
既存のデータセットへの同期はサポートされていますが、推奨されません。同期によって、選択したデータセット内にすでに存在するデータが上書きされる可能性があるためです。
バッチ同期を設定する
保存先と同じページに、バッチ同期を設定するための各種設定が表示されます。
利用可能なオプションはソースによって異なります。バッチ同期で最も一般的な 2 種類は次のとおりです。
ほとんどのシステムはファイルバッチ同期またはテーブルバッチ同期のいずれかをサポートしていますが、両方をサポートするシステムもあります。
ファイルバッチ同期の例
以下の例は、ビルドごとに SNAPSHOT 更新を行う S3 からのファイルバッチ同期の設定を示しています。必要に応じてサブディレクトリとフィルターを指定し、出力データセットに同期するファイルを絞り込むことができます。この例ではサブディレクトリもフィルターも指定していないため、ソース接続のセットアップ時に選択したルートディレクトリ内のすべてのファイルが同期されます。
ファイルバッチ同期の追加設定については、ファイルバッチ同期のリファレンスドキュメントに記載されています。利用可能なフィルターの詳細なドキュメントも含まれています。
テーブルバッチ同期の例
この例は、Microsoft SQL Serverからのテーブルバッチ同期の設定を示しています。クエリによって、ターゲットシステムから取得するデータを定義します。この場合、インクリメンタル（差分）バッチ同期の設定も有効になっており、単調増加する列に基づいてデータをインクリメンタルに更新できます。
ソースを探索タブでは SQL ストアドプロシージャを可視化できませんが、SQLクエリ項目で EXEC コマンドに続けて該当するプロシージャを指定することで、SQL ストアドプロシージャを実行できます。
追加のオプション
ほとんどのバッチ同期では、ほかにもさまざまなオプションを利用でき、コネクターによって異なる場合があります。バッチ同期で広く利用可能な設定オプションの例を以下に示します。
- トランザクションタイプは、取り込まれたデータで以前に取り込まれたデータを上書きするか（
SNAPSHOT）、インクリメンタルに追加するか（APPEND）を決定します。インクリメンタル（差分）同期について、詳しくはこちらをご覧ください。 - スケジュールでは、Foundry のビルドシステムを使用してデータを同期する頻度を設定できます。新しく作成した同期にはスケジュールを設定することをお勧めします。スケジュール設定のベストプラクティスについて、詳しくはこちらをご覧ください。
- ビルドポリシーでは、設定されたスケジュールに関係なく、同期を実行できるタイミングを制限できます。
- 最大実行時間では、指定した制限時間を超えて実行される同期を自動的にキャンセルできます。Foundry ワーカーで実行されるすべての同期は、実行時間が約 48 時間を超えると自動的にキャンセルされます。
以下のオプションは、テーブルバッチ同期でのみ利用可能です。
- タイムゾーンなしのタイムスタンプ設定では、Foundry への同期時に、タイムゾーンを持たないタイムスタンプデータの処理方法をカスタマイズできます。デフォルトでは、タイムゾーンなしのタイムスタンプは文字列として同期されますが、手動で指定したタイムゾーンを持つ
timestampとして、またはlongとして同期することもできます。 - スキーマ変更を許可。この設定では、外部システムでスキーマ変更が発生した場合に、バッチ同期が実行されないようにできます。デフォルトでは、スキーマ変更は許可されません。
同期の出力をプレビューする
次に進む前に、設定した内容に基づいて同期されるデータのプレビューを実行できます。このプレビューを使用して、同期が期待どおりに設定されていることを確認してください。
- ファイルバッチ同期の場合、プレビューにはファイルのリストが表示されます。
- テーブルバッチ同期の場合、プレビューには選択したテーブルの結果が先頭の 20 行に限定して表示されます。
以下に、csv_files というサブフォルダーにフィルターを適用した S3 ファイルバッチ同期のプレビュー例を示します。
上記の例では、同期済みのファイルを除外フィルターを使用すると、警告 Preview not available が表示されます。これは、このフィルターが表示されるプレビュー結果には反映されず、同期がスケジュールされるか手動で実行されたときにのみ適用されるためです。
バッチ同期をビルドまたはスケジュールする
バッチ同期を保存した後、実行するタイミングと方法を選択できます。
同期の概要ページに表示される実行ボタンを使用して、バッチ同期を手動で実行します。
ビルドスケジュールを設定して、定期的なスケジュールでバッチ同期の実行をトリガーします。
Data Lineage アプリケーションを使用すると、複数の同期に対して同時にスケジュールを設定できます。
同じバッチ同期に対して、Data Connection と Data Lineage の両方からスケジュールを設定しないでください。Data Lineage から設定したスケジュールでは、Data Connection の同期をビルドする際に、必ず強制 Buildオプションを使用してください。
次のステップ
このセットアップガイドでは、コネクターから Foundry データセットにデータを取り込むためのバッチ同期の作成方法を学びました。以下の追加リソースもお勧めします。
- 変更データキャプチャ同期、エクスポート、メディアセット同期など、ほかの機能についても詳しくご覧ください。
- Foundry でのデータセットの加工については、パイプラインの構築を参照してください。
- 各コネクターの種類に対応する設定オプションの詳細については、ソースタイプのリファレンスの一覧をご覧ください。