Documentation
ドキュメントの検索
karat

+

K

APIリファレンス ↗
お知らせ20232023年9月

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

お知らせ

Code Repositories の開発体験の改善

公開日: 2023-09-21

Palantir Foundry の Code Repositories アプリケーションの開発体験を、次の改善によって最適化しました。

  • Code Repositories の新機能である Task Runnerでは、install、formatCode、tasks、whoneeds などのサポートされているコマンドを実行できます。Task Runner が有効な場合、左パネルのライブラリタブからパッケージを追加すると、従来のように Code Assist ワークスペースをプロビジョニングするのではなく、現在の環境に要求したパッケージがインストールされるようになりました。この段階で生成される追加ログにより、デバッグが必要になった際に状況を把握しやすくなります。また、複雑なフィルターとプレビュー入力の設定インターフェースも、使いやすく改善しました。

Code Repositories のライブラリ管理にあるパッケージの追加とインストールのオプション

Task Runner を使用してパッケージを追加してインストール

複雑なフィルターとプレビュー入力の設定インターフェースの改善

複雑なフィルターとプレビュー入力の設定インターフェースの改善

  • Python での開発の高速化：クラウド環境でのチェックが平均20〜30秒高速になりました。新しいリポジトリの作成時には、直ちに「置き換え済み」のチェックが発生する代わりにロックファイルが追加されるため、初回のチェックも改善されます。ライブラリのインストールは全体的に高速になり、パッケージを追加して後でインストールすることも、Conda と現在の実行環境でワークスペースを再作成せずにパッケージをインストールすることもできるようになりました。このステップではテスト環境は更新されません。
  • Artifacts の高速化： Code Assist でキャッシュを保存できるようになり、環境に変更がない場合のチェックを高速化できます。ZSTD 圧縮のサポートを Artifacts と Mamba に拡張し、環境の解決とインストールが従来よりも高速になりました。
  • Linux 以外でのローカル開発体験の改善： すべてのリポジトリに、アーティファクトの取得元リポジトリとして conda-forge を標準で追加しました。また、noarch Python ライブラリテンプレートにより、開発者がクロスプラットフォームのライブラリを作成・管理しやすくなりました。
  • Python の書式設定のサポートを追加： コーディングスタイルの一貫性を確保するため、black と ruff のリンターから選択できます。
  • 関連する設定の自動生成：vscode Gradle タスクをローカルで実行できるようになりました。
  • macOS と Windows でのローカル開発サポートの強化： Gradle を介したローカルプレビューをサポートしました。また、リポジトリのアップグレードと Code Assist 用のフロントエンドも使いやすくなりました。
  • Spark Preview Loader の最適化： 最大100万行（従来は1万行）のプレビューが可能になり、読み込み速度も4〜5倍に向上しました。
  • チェックログ内のナビゲーションの簡素化： チェックログ内で buildRID を直接選択すると、Job Tracker のビルドに直接移動できます。

オントロジー SDK（TypeScript と Developer Console）[GA]、Python SDK［ベータ版］

公開日: 2023-09-19

オントロジー SDK の TypeScript バージョンと新しい Developer Console アプリケーションが、すべてのスタックで一般提供（GA）になりました。Python SDK は現在ベータ版で、2023年10月末までの一般提供に向けて順調に進んでいます。

オントロジーソフトウェア開発キット（オントロジー SDK）を使用すると、開発環境からオントロジーの機能を最大限に直接利用できます。Palantir API を使用するサードパーティアプリケーションを作成・管理するための新しいポータルである Developer Console で、オントロジー SDK を生成できます。詳細と手順については、公開ドキュメントを参照してください。

オントロジー SDK と Developer Console とは？

Developer Console は、オントロジー API を使いやすく利用するためのオントロジー SDK を生成できる新しいアプリケーションです。SDK は、TypeScript の NPM パッケージ、および Python の PyPi/Conda パッケージ（ベータ版）として生成できます。オントロジー SDK パッケージには、Developer Console で開発者が指定したオントロジーのエンティティのみが含まれます。

開発者はオントロジー SDK を使用して、オントロジーからの読み取り、Actions を介した Foundry への書き戻し、オントロジーの Functions の実行などを簡単に行えます。SDK を使用することで、型安全な方法で API を操作できます。

これにより、開発者は Foundry を実質的にバックエンドとして扱い、Foundry が提供するインフラストラクチャとオントロジーの一元管理を活用しながら、組織固有のアプリケーション開発により注力できます。

オントロジー SDK が Foundry のオントロジーリソースをコードエディターに統合する様子を示す GIF。

オントロジー SDK が Foundry のオントロジーリソースをコードエディターに統合する様子を示す GIF。

オントロジー SDK を使用する理由は？

  • 開発の迅速化： オントロジー SDK によりオントロジー API を使いやすく利用でき、わずか数行のコードでオントロジーの読み取りと書き戻しを行えます。
  • 強力な型安全性： オントロジー SDK 用に生成される関数とデータ型は、開発に使用するオントロジーの選択されたサブセットに基づいています。すべてがオントロジーから取得されるため、エディター内で直接データにクエリを実行して探索できます。
  • 一元的な保守： オントロジーが Foundry 内で一元的に構築・管理されていることを活用できます。アプリケーションのデータ基盤の保守や構築に重複した労力を費やすことなく、アプリケーションの構築に注力できます。
  • チーム間での可視性： Developer Console を使用すると、ネイティブの Slate アプリや Workshop アプリと同様に、アプリケーションが Foundry の来歴システムに表示されます。これにより、アプリケーションに影響するオントロジーの変更を、その影響に基づいて評価できます。
  • 設計による安全性の確保： オントロジー SDK は、アプリケーションがアクセスする必要のあるオントロジーリソースのみにスコープを限定したトークンで生成されます。

どのように使用しますか？

オントロジー SDK は、Palantir API を使用するアプリケーションを作成・管理できる新しい Foundry ツールである Developer Console を通じて生成されます。ワークスペースのナビゲーションバーにあるアプリケーションポータルから Developer Console を開くか、CMD + J（MacOS）または CTRL + J（Windows）を使用して検索します。

アプリケーションポータルから Developer Console を検索

アプリケーションポータルで Developer Console を検索。

オントロジー SDK と Developer Console はどちらもすべてのエンロールメントで利用可能になりますが、Control Panel で Developer Console を無効にすることで利用しないことを選択できます。また、アプリケーションへのアクセスページで、特定のグループに対して詳細なアクセス設定を行うこともできます。

オントロジー SDK と Developer Console の使用方法に関するドキュメントには、さまざまなアプリケーションワークフローのウォークスルーが含まれています。また、はじめる際に役立つ TypeScript/React ベースのスターターアプリケーションを公開リポジトリで提供しています ↗。

Developer Console は、選択されたオントロジーリソースに基づいて、アプリケーションごとにカスタマイズされたドキュメントを提供します。

Developer Console の Aircraft オブジェクトタイプの API ドキュメントの表示。

Developer Console の Aircraft オブジェクトタイプの API ドキュメントの表示。

開発ロードマップには何が含まれていますか？

  • Python SDK： 先日、Python SDK パッケージのベータサポートを発表しました。10月までの一般提供に向けて取り組んでいます。
  • 追加機能： Foundry LMS を介したデプロイ済みモデルや大規模言語モデル（LLM）など、さらに多くの Foundry 機能を SDK に追加するために取り組んでいます。

Sensitive Data Scanner のご紹介［ベータ版］

公開日：2023-09-19

Sensitive Data Scanner（SDS、旧称「Foundry Inference」）は、組織が Palantir Foundry データセット内の機密データを発見し、保護するのに役立ちます。現在ベータ版として利用可能な SDS を使用すると、ガバナンス担当ユーザーは、特定する機密データのパターンと、一致するデータが見つかったときに自動実行するアクションを指定できます。また、更新されたインターフェースにより、開始したスキャンを正確に追跡、監視できます。

改善されたランディングページのインターフェース

Sensitive Data Scanner のランディングページに、1回限りのスキャンごとにスキャン対象データセットのステータスを要約する進行状況バーが表示されるようになりました。色分けされたバーは、スキャン待ちキュー内のデータセット総数に対し、特定の条件に一致するデータセット数の割合に応じて塗りつぶされます。

  • 青： 現在スキャン中またはスキャン待ちのデータセット。
  • オレンジ： 条件に一致するデータセット。
  • 緑： いずれの条件にも一致しないデータセット。
  • 赤： スキャンに失敗した、またはスキャンがスキップされたデータセット。
  • グレー： キャンセルされたスキャン。

また、各スキャン項目の右側にあるドロップダウン矢印を選択すると、そのスキャンに含まれる各データセットの分類を簡単に確認できます。

SDS のスキャン結果

ファイルのさまざまな分類を示す、1回限りのスキャンの詳細表示

スキャンの計算時間を見積もる

Sensitive Data Scanner のスキャン待ちキューにあるデータセット数も確認できます。これにより、スキャンにかかる時間の目安がわかり、必要に応じてスキャン対象の範囲を見直すきっかけになります。

SDS のスキャン設定

スキャン設定の最終ステップでは、スキャン対象のデータセット数が表示され、1回限りのスキャンまたは定期スキャンを作成するオプションを選択できます。

AIP で正規表現の一致条件を生成する

AIP が有効になっているスタックでは、正規表現を自分で記述せずに、AIP を使用して正規表現の一致条件を生成できるようになりました。この機能を使用するには、希望するデータ形式を説明する自然言語のプロンプトを入力し、1回限りのスキャンを作成する際の一致条件を選択ステップで生成するを選択します。

SDS の一致条件設定ダイアログ

AIP を使用した SDS の複雑な正規表現の一致条件設定

AIP を使用してメールアドレスの正規表現の一致条件を生成するユーザー

詳細については、Sensitive Data Scanner のドキュメントを参照してください。

Python リポジトリのチェック改善を適用

公開日：2023-09-19

Foundry スタック上の Python リポジトリ全体に対し、対象を絞った改善を行い、チェックのパフォーマンスを更新しました。特に、内部スタック上のすべての Python ジョブにおける P95 チェック完了時間（チェックの実行開始から終了までにかかる時間）の平均は、2023年3月の2分15秒から2023年6月には約1分15秒へと短縮され、44.4%減少しました。

チェックを高速化するための改善

チェックの効率を改善するための最近の取り組みには、次の更新が含まれます。

Conda パックへの Zstandard（ZST）圧縮の適用

従来の「gzip 圧縮」に代わって ZST を導入し、チェックで condaPackRun タスクや condaPackTest タスクを実行する際に不可欠な conda-pack ↗ の圧縮と解凍を大幅に高速化しました。

Python リポジトリのチェック所要時間の P95 を示すグラフ

P95 チェック完了時間の平均を示すグラフ（2023年3月の2分15秒から2023年6月には約1分15秒に短縮）

Jemma 管理のキャッシュの二重圧縮を廃止

チェックランナーである Jemma は、ファイルを二重圧縮しなくなりました。代わりに ZST を使用してファイルを圧縮することで、リソース使用量と CPU 時間が減少します。

二重圧縮を避け、zst でキャッシュディレクトリを圧縮することで、圧縮速度が大幅に向上します（20MBs → 80MB/s）。以下に、キャッシュディレクトリを圧縮し、圧縮ファイルを保存するのにかかる時間を示します。

キャッシュ保存時の圧縮時間の P95 を示すグラフ

高速化された Gradle Conda タスク

ベース Docker イメージの活用と、記載した Gradle タスクの更新により、次の一般的なタスクの実行が高速化されます。

  • condaInfo：チェックの実行に使用する Docker イメージに Conda インストーラーを同梱します。
  • setupPythonEnv：チェックに使用する Docker イメージに、サポート対象の Python バージョン（メジャーおよびマイナー）の Conda インストーラーを同梱します。
  • vscode：Gradle の @InputFiles から @Input に切り替え、タスク実行時間を13秒から1秒未満に短縮します。

Conda パック用のカスタム Gradle キャッシュ

カスタム Gradle キャッシュを使用することで、Conda パックの二重圧縮を引き起こし、計算時間の浪費や全体的なパフォーマンス低下につながる非効率を回避します。この改善では、使用状況に基づいてエントリの TTL を更新できるアーティファクトキャッシュのレイアウトも活用しています。

以下は初期のプロトタイプのグラフで、カスタムキャッシュ機構を使用してタスクを実行するのに必要な時間を示しています。モデリング関連のパッケージなど、環境が大きくなるほど改善効果が高まる点にご注目ください。

キャッシュヒットの散布図

開発ロードマップの次の予定は何ですか？

現在、起動時の Code Assist を高速化し、テスト環境の依存関係解決とインストールを改善するためのエンハンスメントに取り組んでいます。

Foundry でのセマンティック検索サポートのご紹介［ベータ版］

公開日：2023-09-11

この機能は現在、一般提供されています。最新のお知らせをご覧ください。

その他のハイライト

Source Control の有効化、新しい機能フラグ、および軽微な変更

公開日: 2023-09-28

[データ統合/Code Repositories] Code Repositories のユーザーは、ファイルの変更を表示し、リモートリポジトリにコミットできる新しいパネルである Source Control 機能を利用できるようになりました。関連するハイライトで詳しく紹介しています。

Source Control 機能

S3 対応 API の一般提供開始

公開日: 2023-09-26

[Foundry S3 Proxy] Foundry データセット向けの S3 対応 API が一般提供されました。資格情報を取得する API は安定していると見なされ、固定の資格情報に加えて一時的な資格情報も使用できるようになりました。この API の利用をはじめる方法や、標準の AWS クライアントおよび SDK と併用する方法の詳細と手順については、ドキュメントを参照してください。

Ontology Manager で編集専用プロパティを設定可能に

公開日: 2023-09-26

[オントロジー/オントロジー管理] Ontology Manager で、OSv2 のオブジェクトタイプに編集専用プロパティを設定できるようになりました。これらのプロパティはどの列にも紐付けられず、アクションを通じてのみ値を取得できるため、オブジェクトタイプをより柔軟に管理できます。

Foundry Rules の新しいホームページと効率化されたセットアッププロセス

公開日: 2023-09-26

[オントロジー/Foundry Rules] Foundry Rules では、データ変換パイプラインにシームレスに接続するルールベースのロジックを作成できます。

Foundry Rules アプリケーションの新しいホームページにアクセスすると、ワークフローのセットアップと設定を確認できます。新しい Rules ワークフローのセットアップには Foundry Marketplace が使用されるため、事前設定を減らしながら、より迅速に価値を得られます。

ファイルから Rules ワークフローの設定を選択して Foundry Rules にアクセスすることもできます。

Foundry Rules ワークフローの概要リスト

Foundry Rules ワークフローの概要リスト

提案のレビュー機能の強化

公開日: 2023-09-26

[データ統合/Pipeline Builder] 提案のレビューにコメントを追加できるようになり、メッセージを添えて承認したり、理由を添えて提案を拒否したりできます。この更新により、レビュープロセスの柔軟性とコミュニケーションが向上します。

オントロジー管理での Phonograph のインデックス解除カウントダウン

公開日: 2023-09-26

[オントロジー/オントロジー管理] Ontology Manager で、オブジェクトタイプおよび多対多のリンクタイプの Phonograph セクションに、未使用テーブルの自動インデックス解除までのカウントダウンが表示されるようになりました。この機能により、自動インデックス解除までの残り時間を把握できます。

Pipeline Builder で AIP Generate の一般提供開始

公開日: 2023-09-26

[データ統合/Pipeline Builder] Pipeline Builder で AIP Generate が一般提供され、1つのプロンプトで新しいデータ変換ロジックを作成できるようになりました。この機能は、生成されたロジックの透明性と読みやすさを維持しながら、複雑なデータ変換を記述するプロセスを簡素化します。

Notepad テンプレート向けの値埋め込みウィジェットの登場

公開日: 2023-09-13

[分析 / Notepad] 値埋め込みウィジェットを使用すると、テンプレート入力のテキストをドキュメントに直接挿入できます。Notepad テンプレートに値埋め込みウィジェットを追加し、文字列のテンプレート入力を設定できます。テンプレートからドキュメントを生成すると、ウィジェットの位置にテキストが挿入されます。値埋め込みウィジェットについて詳しくはこちら。

値埋め込みウィジェットが2個ある Notepad テンプレートの画像。

値埋め込みウィジェットが2個ある Notepad テンプレートの画像

Quiver AIP の使いやすさの向上

公開日: 2023-09-13

[分析/Quiver] AIP ウィンドウは次のアクションメニューから削除され、ドラッグとサイズ変更が可能なフローティングのモーダルウィンドウになりました。この更新により、プロンプトを記述している間も、キャンバス上のオブジェクトセットのプロパティや可視化を遮られることなく表示できます。ユーザープロンプトは、AIP ウィンドウを最小化した状態でバックグラウンド処理されるようになったため、結果を待つ間もワークフローを続行できます。また、AIP ボタンの名前が、機能をより適切に表す名前に変更されました。AIP Generate は分析にカードを生成し、AIP Configure はカードの設定を更新します。

実行時に最小化された AIP。

実行時に最小化された Quiver AIP

新しい AIP モーダルウィンドウ。

新しい Quiver AIP モーダルウィンドウ

AIP の次のアクション候補とプロンプト補完

公開日: 2023-09-13

[分析/Quiver] AIP ウィンドウに、オブジェクトまたはオブジェクトセットのプロパティと、AIP に対応する Quiver カードに基づいて、実行可能な次のアクションの候補が表示されるようになりました。また、プロンプトを入力すると、AIP がプロンプトの補完候補を表示します。どちらの機能も、オントロジーデータの探索と分析に AIP を活用する新しい機会を見つけるのに役立ちます。

選択したオブジェクトセットに対する AIP の次のアクション候補が赤い長方形で強調表示された AIP モーダルウィンドウの画像。

選択したオブジェクトセットに対する AIP の次のアクション候補を表示する AIP モーダルウィンドウ

プロンプトの補完候補が赤い長方形で強調表示された AIP モーダルウィンドウの画像。

プロンプトの補完候補を表示する AIP モーダルウィンドウ

Pipeline Builder のユーザー定義関数

公開日: 2023-09-13

[データ統合 / Pipeline Builder] ユーザー定義関数を使用すると、バージョン管理とアップグレードが可能な独自の任意の Java コードを、Pipeline Builder または Code Repositories で実行できます。独自のユーザー定義関数（UDF）を作成して、外部の Java ライブラリを組み込んだり、パイプライン間で複雑なロジックを再利用したりできるようになりました。Pipeline Builder で UDF を有効にするには、Palantir の担当者にお問い合わせください。ドキュメントで詳しくはこちら。

Quicksearch が唯一のサポート対象検索インターフェースに [Quicksearch の一般提供 / レガシー検索の廃止]

公開日: 2023-09-11

[Quicksearch] 広く利用可能になってから2か月が経過し、Quicksearch が Foundry の唯一の検索インターフェースになりました。7月に事前にお知らせしたとおり、レガシー検索インターフェースは廃止されました。移行期間中に新しい検索エクスペリエンスを使用しないことを選択したユーザーも、Quicksearch に移行されます。詳細については、Quicksearch のドキュメントおよび Quicksearch 一般提供のお知らせを参照してください。

アクセスグラフが利用可能に

公開日: 2023-09-05

[セキュリティ / プロジェクト] 一般にアクセスグラフと呼ばれるグラフベースの表示を使用して、プロジェクト、ユーザー、グループ、マーキングなどのエンティティ間の関係を可視化し、権限の確認を簡素化できるようになりました。詳細については、権限の確認に関するドキュメントを参照してください。

アクセスグラフ

Quicksearch がリソースセレクターと統合

公開日: 2023-09-05

[モデル統合: Workspace] リソースセレクターへの Quicksearch の統合により、パネルの読み込みを待たずにリソースをより迅速に検索できます。名前に基づいて結果を取得し、検索との関連性で順位付けする Quicksearch バーは、完全な検索を実行する選択肢も引き続き提供しながら、ナビゲーションを効率化します。

リソースセレクターに統合された Quicksearch

Resource Management を使って予算を作成する

公開日: 2023-09-05

[管理: Resource Management] Resource Management アプリケーションの予算タブを使って、コンピューティング使用量に対する予算を作成します。

パイプラインでの共同作業のためのカスタム承認ポリシー

公開日: 2023-09-05

[データ統合: Pipeline Builder] パイプラインの提案にカスタム承認ポリシーが導入され、設定可能な個人またはグループのリストからのレビューを必須にできるようになりました。メインブランチに影響する変更に承認を必須とすることで、バージョン管理を強化し、本番環境のパイプラインで安全に共同作業できます。ポリシーを設定する際は、なし、権限ベース（編集）、カスタムポリシー（グループとユーザー）から選択します。

オントロジーのホームページのお気に入りセクション

公開日: 2023-09-05

[オントロジー: Ontology Management] オントロジーのホームページに新しいお気に入りセクションが導入され、お気に入りに登録したすべてのオブジェクトタイプが表示されるため、簡単にアクセスできます。ユーザーは必要に応じてこのセクションを並べ替えたり無効にしたりできます。お気に入りに登録したオブジェクトタイプがあるユーザーには、デフォルトで有効になります。