注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
ダイレクトデータソース [ベータ版]
ダイレクトデータソースは開発のベータ版段階にあり、お使いのエンロールメントでは利用できない場合があります。開発が進行する中で、機能が変更される可能性があります。
ダイレクトデータソースは、ストリームベースのデータに基づいているオブジェクトタイプの編集を含め、オントロジーへの低遅延の書き込みを提供します。データアプリケーションは、ダイレクトデータソースを使ってオントロジーに直接書き込めます。現在、書き込み元アプリケーションとしてサポートされているのは Pipeline Builder のみです。
ダイレクトデータソースは、スループットを犠牲にする代わりに、ストリームに対するユーザー編集や時間ベースの順序付けなど、より堅牢なオントロジーへの書き込み機能を提供します。データと編集の両方に低遅延が必要なワークフローに最適です。たとえば、ストリーミングオブジェクトタイプに対する編集や、小規模なインクリメンタル（差分処理）ビルドを頻繁に行うバッチオブジェクトタイプで、ソーストランザクションからオントロジーにオブジェクトが表示されるまでのエンドツーエンドのインデックス化の遅延が許容できない場合が該当します。
ダイレクトデータソースを設定する
現在、ダイレクトデータソースは Pipeline Builder でのみ設定できます。詳細については、Pipeline Builder のドキュメントのガイダンスを確認してください。
デプロイすると、オブジェクトタイプが Ontology Manager に表示され、そのオブジェクトを Insight と Object Explorer で閲覧できます。
ソースタイムスタンププロパティ
必要に応じてソースタイムスタンププロパティを設定し、時間ベースの順序付けを有効にできます。ソースタイムスタンププロパティはユーザーが指定するタイムスタンププロパティで、オブジェクトが作成または更新された時刻を表す必要があります。この値は、順序が前後した直接書き込みを破棄するために使用されます。オブジェクトへの書き込みが到着したとき、そのソースタイムスタンプ値がオブジェクトの既存の値よりも古い場合、その書き込みは破棄されます。
時間ベースの順序付けは、ソースタイムスタンププロパティの設定後に送信された書き込みにのみ適用されます。ソースタイムスタンププロパティの設定前に取り込まれた、順序が前後した書き込みを解消するには、上流のパイプラインをリプレイします。
パイプラインをリプレイするとオブジェクトビューがリセットされ、既存のオブジェクトがすべて削除されます。リプレイする前に、この点を考慮してください。
ソースタイムスタンププロパティは、オブジェクトタイプにタイムスタンププロパティがすでに定義されている場合にのみ設定できます。
ソースタイムスタンププロパティを設定するには、次の手順に従います。
- Ontology Manager で、オブジェクトタイプのデータソースタブに移動します。
- 直接書き込みセクションで、ソースタイムスタンプを探します。
- タイムスタンプのプロパティで、ドロップダウンメニューから既存のタイムスタンププロパティを選択します。設定を削除するには、選択したプロパティの横にある x アイコンを選択します。
デバッグ
ダイレクトデータソースの書き込み元とそのオブジェクトタイプの間を移動する
ダイレクトデータソースの編集をオントロジーに書き込んだ Pipeline Builder のパイプラインは、Ontology Manager のデータソースタブで確認できます。パイプラインを選択すると、Pipeline Builder でそのパイプラインに移動します。
現在、書き込み元アプリケーションとしてサポートされているのは Pipeline Builder のみです。
ライブネス
データのライブネスは、データソースタブの Object Storage v2 の下に表示されます。ライブネスを使って、現在のオブジェクトビューがどの程度新しいかを判断できます。
- データ： オントロジーに書き込まれた最後の直接書き込みです。
- スキーマ現在のスキーマが最新かどうかを示します。
- 最新の編集： オントロジーに書き込まれた最後の編集です。オブジェクトタイプに編集が書き込まれていない場合、この項目は表示されません。
ストリームメトリクス
Ontology Manager で、Pipeline Builder によってオーケストレーションされる書き込みジョブ、または現在実行中のジョブのストリームメトリクスを表示できます。オブジェクトタイプのデータソースタブの Object Storage v2 に移動し、ライブパイプラインでダイレクトデータソースノードを選択します。
- メトリクスを表示バナーを選択すると、Flink ストリーミングジョブのログ、ジョブ履歴、その他のメトリクスが表示されます。
- 現在実行中のジョブの情報を表示するには、最新のジョブの省略記号を選択し、次にジョブの詳細を表示を選択します。
ログ
直接書き込みのログの閲覧は、オブジェクトが存在しない場合や無効な書き込みをデバッグする際に特に役立ちます。無効な直接書き込みが検出されると、データソースタブにバナーが表示されます。これらの無効な書き込みは破棄され、オントロジーには表示されません。
無効な書き込みをデバッグするには、次の手順に従います。
- データソースタブに移動し、警告バナーを探します。
- バナーのログを見るを選択して、どの主キーが破棄されたかと、その理由を確認します。
書き込みが拒否される原因は、通常、データ検証の失敗です。パイプラインの上流でデータの形式を修正し、パイプラインをリプレイします。ビューがリセットされ、書き込みが再び有効になると、バナーは消えます。書き込みが拒否された原因を特定できない場合は、Palantir サポートにお問い合わせください。
パイプラインをリプレイするとオブジェクトビューがリセットされ、既存のオブジェクトがすべて削除されます。リプレイする前に、この点を考慮してください。
FAQ
パイプラインをデプロイすると、ストリーミングジョブが開始前に毎回失敗します。これは想定どおりの動作ですか？
はい。初回デプロイ時、または出力をリセットしてパイプラインをリプレイするときに、Funnel のセットアップ処理によってタイムアウトが発生し、ジョブの送信前に失敗する場合があります。ジョブが再試行の上限を超えた場合は、失敗したジョブを再ビルドします。リプレイ時には、再度リプレイを伴うデプロイを行う必要はありません。別のリプレイを開始すると、Funnel によるセットアップがもう一度開始され、再びタイムアウトが発生する可能性があります。
ストリーミングパイプラインをリプレイしたところ、オブジェクトがすべてなくなりました。なぜですか？
これはダイレクトデータソースの現在の制限です。新しいビューをすぐに提供するために、既存のオブジェクトビューは完全に消去されます。切り替えは瞬時に行われるため、新しいビューにはまだすべてのデータが取り込まれておらず、オブジェクトビューが不完全または空になる場合があります。この制限を解消するためのバックグラウンドリプレイは開発中です。
オントロジーに存在するはずのオブジェクトがありません。どのようにデバッグできますか？
まず、データのライブネスを確認します。データのライブネスが古い場合（たとえば、30分前の場合）、ソースストリームが停止した可能性が高いです。ストリームメトリクスまたは現在のジョブを確認します。
データが最新の場合、Funnel によって無効な書き込みが拒否された可能性が最も高いです。Ontology Manager のデータソースタブにも、書き込みが拒否されたことを示すバナーが表示されます。対処手順については、ログを参照してください。
場合によっては、データが古いことと、無効な書き込みによってデータが存在しないことが両方起こる場合があります。これは、ある時点以降のすべての書き込みが拒否されたことを意味します。