注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
このページでは、同期に関する一般的な問題とデバッグの手順について説明します。
ネットワークスループットが取り込み速度を制限している場合は、ネットワークスループットを最適化するを参照してください。
PKIX および SSLHandshakeException エラーを含む、証明書と TLS のトラブルシューティングについては、証明書と TLS を参照してください。
同期が Response 421 received. Server closed connection エラーで失敗する場合、対応していない SSL プロトコルとポートの組み合わせで接続している可能性があります。たとえば、ポート991を使用する暗黙的 FTPS は、古い規格であり、サポート対象外です。この場合は、ポート21を使用する明示的 SSL が推奨されます。
FTP/S 同期の場合は、エグレスプロキシのロードバランサーを使用していないことを確認してください。FTP はステートフルなプロトコルであるため、ロードバランサーを使用していると、一連のリクエストが同じ IP から送信されない場合に同期が失敗する可能性があります。
負荷分散の性質上、失敗は非決定論的に発生します。負荷分散プロキシが配置されていても、同期やプレビューが成功することがあります。
また、HTTP プロキシは FTP および FTPS のアクティブモード転送に対応していません。アクティブモードでは FTP サーバーからクライアントへの接続が必要ですが、HTTP プロキシ経由ではこの接続はできません。FTP/FTPS 接続で HTTP プロキシを使用する場合、対応しているのはパッシブモード転送のみです。HTTP プロキシ経由で接続する際は、FTP ソースがパッシブモードを使用するように設定されていることを確認してください。
同期または探索が com.amazonaws.services.s3.model.AmazonS3Exception:Forbidden (Service: Amazon S3; Status Code: 403; Error Code: 403 Forbidden; Request ID: null; S3 Extended Request ID: null) エラーで失敗する場合、コマンドがエグレスプロキシを通過する際にエラーが発生していることを意味します。このエラーが発生した場合は、次のいずれかのシナリオが該当するかどうかを確認してください。
S3 ソースの proxyConfiguration ブロックに、次を追加します。
Copied!1 2 3 4host: <address of deployment gateway or egress NLB> port: 8888 protocol: http nonProxyHosts: <bucket>.s3.<region>.amazonaws.com,s3.<region>.amazonaws.com,s3-<region>.amazonaws.com
例:すべての VPC バケットを許可リストに登録するには、次の設定を追加します。
Copied!1 2 3 4 5 6clientConfiguration: proxyConfiguration: host: <color>-egress-proxy.palantirfoundry.com port: 8888 protocol: http nonProxyHosts: *.s3.<region>.amazonaws.com, s3.<region>.amazonaws.com, s3-<region>.amazonaws.com
同期または探索が Could not list objects in bucket エラーで失敗する場合は、リージョンと署名リージョンの両方が設定されていないかを確認してください。両方の値を設定すると、このエラーが発生する可能性があります。問題を解決するには、署名リージョンのみを設定します。
ソースシステムに対して実行された正確なクエリを確認するには、_data-ingestion.log を参照してください。
インクリメンタル同期の場合は、単調増加する列(タイムスタンプや ID など)と、その列の初期値を指定していることを確認してください。
インクリメンタル列を選択したら、同期設定ページの SQL クエリに ? 演算子を追加していることを確認する必要があります(? は「インクリメンタル」値に置き換えられ、使用できる ? は1個のみです)。例:SELECT * FROM table WHERE id > ?。
同期したデータセットに行が欠落している、または以前に同期した行が正しく更新されていないと思われる場合は、次を確認してください。
ID を使用しており、前回の同期で最後に同期された ID の値が10で、その後に ID が5の行を追加した場合、その ID が5の行は同期されません。既存の行が再同期されていると思われる場合は、次を確認してください。
LONG または STRING(ISO-8601 形式)にキャストする必要があります。インクリメンタル同期で NullPointerException がスローされる場合、インクリメンタル列に null 値が含まれる行を SQL クエリがデータベースから取得している可能性があります。
col とするクエリ SELECT * FROM table WHERE col > ? OR timestamp > 1 を考えます。OR を使用しているため、このクエリでは col に null 以外の値のみが含まれることは保証されません。いずれかの行で col の null 値が同期されると、Data Connection が同期のインクリメンタル状態を更新しようとした際に、現在の状態が同期された null 値と比較されてエラーがスローされるため、同期は失敗します。SELECT * FROM table WHERE (col > ? OR timestamp > 1) AND col IS NOT NULL のように書き換えることでエラーを回避できます。同期に使用するインクリメンタル列を変更する場合は、新しい同期を作成することを推奨します。
Agent ホストの <bootvisor-directory>/var/data/processes ディレクトリーで ls -lrt を実行し、最後に作成された bootstrapper~<uuid> ディレクトリーを見つけます。
cd でそのディレクトリーに移動し、/var/log/ に移動します。magritte-agent-output.log の内容を確認します。OutOfMemory Exception エラーが表示される場合、Agent が割り当てられたワークロードを処理できないことを意味します。
同期がハングする一般的な原因と、それぞれの解決方法を以下に示します。
すべての同期:取得段階でのハング
取得段階で同期がハングする場合は、ソースが利用可能で、かつ稼働しているかを確認します。
JDBC 同期:取得段階でのハング
同期の取得段階が完了するまでに想定より時間がかかる場合は、Agent がネットワークとデータベースに対して大量の呼び出しを行っていることが原因の可能性があります。同期中のネットワークとデータベースへの呼び出し回数を調整するには、フェッチサイズパラメーターを変更できます。
JDBC 同期:アップロード段階でのハング
同期でファイルのアップロードに長時間かかる場合や、アップロード段階で失敗する場合は、ネットワークリンクに過剰な負荷がかかっている可能性があります。この場合は、最大ファイルサイズパラメーターの調整を推奨します。
FTP / SFTP / Directory / 同期:取得段階でのハング
ファイルベースの同期が取得段階でハングする最も一般的な原因は、Agent が大規模なファイルシステムをクロールしていることです。
ファイルシステムをクロールする同期は、別途設定されていない限り、ファイルシステム全体を2回クロールします。これは、書き込み中のファイルや、何らかの変更が加えられているファイルが同期によってアップロードされないようにするためです。
ファイルベースの同期はトランザクション型です。同期がいずれかの時点で失敗すると、トランザクションは中止され、その実行で処理されたファイルはどれもデータセットにコミットされません。たとえば、100万個のファイルをアップロードするように同期が設定されており、残り1個になるまでアップロードした後でネットワークエラーが発生した場合、トランザクション全体が中止されます。アップロード済みのファイルはどれもコミットされず、データセットのビューは変更されません。
このようなトランザクションの動作により、1回の実行で大量のファイルを処理する同期は、一時的なネットワークの問題やソースシステムの問題の影響を受けやすくなります。同期の失敗による影響を軽減するには、以下の方法があります。
SNAPSHOT 同期の代わりに、インクリメンタル APPEND 同期を使用します。こうすることで、失敗した場合も、すべてのファイルではなく現在のバッチのみを再同期すれば済みます。
詳細は、同期失敗時の動作およびファイルベースの同期を最適化するを参照してください。
REQUEST_ENTITY_TOO_LARGE エラーで同期が失敗する場合大きなファイルのダウンロード、処理、アップロードは、エラーが発生しやすく、時間もかかります。個々のファイルが Agent のアップロード先に設定された最大サイズを超えると、REQUEST_ENTITY_TOO_LARGE サービス例外が発生します。data-proxy アップロード戦略では、この上限はデフォルトで100 GB に設定されています。
この上限のオーバーライドは推奨しません。可能であれば、このデータに小さなファイルに分割してアクセスする方法を見つけてください。ただし、一時的な回避策としてこの上限をオーバーライドする場合は、以下の手順を使用します。
Data Connection 内で Agent に移動し、設定のアドバンスドタブを選択します。
「Agent」タブを選択します。
destinations ブロック内に以下を追加して、上限を150 GB に引き上げます。
Copied!1 2 3uploadStrategy: type: data-proxy maximumUploadedFileSizeBytes: 161061273600
BadPaddingException エラーで同期が失敗する場合BadPaddingException 例外は、Agent 内に保存されているソースの資格情報の暗号化キーが、期待されるものと異なるために発生します。これは、Agent マネージャーを手動でアップグレードした際に、古い /var/data ディレクトリーを新しいインストール先にコピーしなかった場合によく発生します。
この問題を解決する最も簡単な方法は、影響を受けている Agent を使用するソースごとに資格情報を再入力することです。
タイムスタンプ列を含む行を JDBC ソースから同期すると、それらのタイムスタンプ列は Foundry で Long 列にキャストされます。この動作は、下位互換性のために存在します。
これらの列のデータ型を修正するには、Python トランスフォーム環境を使用して、このクレンジングを行うことを推奨します。以下は、列 "mytimestamp" をタイムスタンプ形式にキャストし直すコードスニペットの例です。
Copied!1df = df.withColumn("mytimestamp", (F.col("mytimestamp") / 1000).cast("timestamp"))