オントロジーと AIP の観測可能性

オントロジーと AIP の観測可能性機能により、メトリクス、トレース、ログ、実行履歴を通じて AIP とオントロジーのワークフローの実行状況を把握できます。これらの機能は、プラットフォーム全体にわたる包括的な観測可能性戦略の一環として Workflow Lineage に統合されています。これにより、部門横断のチームは、AIP とオントロジーを使って構築したアプリケーション、ワークフロー、製品のあらゆるレベルでパフォーマンスを監視し、最適化できます。

オントロジーと AIP の観測可能性の主な機能

• メトリクス： 関数、アクション、AIP Logic の成功／失敗の件数と実行時間の95パーセンタイル値をほぼリアルタイムで監視します。
• 実行履歴： 過去30日間の関数、アクション、自動化、AIP Logic の実行を追跡します。
• 分散トレーシング： 関数、アクション、言語モデル、自動化、オントロジーの読み込みにわたる実行フロー全体を可視化します。
• ログとデバッグ： サービスログ、カスタム関数のログメッセージ、トークン使用量、プロンプト、エラーの詳細などにアクセスします。
• ログ検索： Workflow Lineage の実行可能なリソースにわたってサービスログを検索し、複数の実行にまたがる特定のメッセージ、エラー、パターンを見つけます。
• パフォーマンス監視： ボトルネックを特定し、実行時間を最適化します。
• 観測可能性ダッシュボード： 観測可能性チャートウィジェットを使って関数、アクション、Compute Module のメトリクスを時系列でプロットし、Workshop で運用ダッシュボードを構築します。
• Foundry のストリーミングデータセットへのログのエクスポート： ログをストリーミングデータセットにエクスポートし、テレメトリーに対して複雑な分析を実行します。

オントロジーと AIP の観測可能性のはじめに

オントロジーと AIP の観測可能性を使用するには、次の手順に従います。

1. Workflow Lineage で関数、アクション、または自動化に移動します。
2. 最近の実行を表示するには、実行履歴タブを選択します。
3. トレースとログにアクセスするには、任意の実行でログの詳細を表示を選択します。
4. リソースに適切なログ権限が設定されていることを確認してください。

プラットフォーム全体の観測可能性

オントロジーと AIP の観測可能性は、Palantir プラットフォームのほかの機能と連携し、エンロールメントで AIP が有効になっていない場合でも、すべてのオントロジーおよび AIP ワークフローに関するインサイトを提供します。以下のツールが連携することで、個々の関数の実行からプラットフォーム全体のリソース消費まで、システムの状況を包括的に把握できます。

パフォーマンスと最適化を監視する

• 関数の計装： 本番環境で関数を計装するためのツールの概要です。
• 関数の監視： 関数のパフォーマンスと失敗率に関するアラートを設定します。
• アクションメトリクス： アクションの実行パターンとパフォーマンスを分析します。
• アクションの監視： アクションのパフォーマンスと信頼性を追跡するための監視ルールを設定します。
• モデルの計装： 本番環境でモデルを計装するためのツールの概要です。

リソース使用量とコストを監視する

• AIP 使用量メトリクス： トークン使用量とモデルへのリクエストを追跡するための、モデル使用量に基づく色分けとチャートです。
• Logic のコンピューティング使用量： AIP Logic アプリケーションのコンピューティング消費量を追跡します。
• AIP のコンピューティング使用量： AIP の各機能におけるコンピューティングの割り当てと使用量を把握します。

モデルのパフォーマンスを監視する

• AIP Evals： LLM のパフォーマンスを体系的に評価し、監視します。