注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

環境作成の概要

この高度なガイドでは、環境の初期化プロセスについて詳しく説明します。初期化のパフォーマンスに影響する技術的な考慮事項に関心があるユーザーを対象としています。環境に関する一般的な問題への対処方法については、環境のトラブルシューティングガイドを参照してください。

Conda は、特定の言語に依存しないオープンソースのパッケージ・環境マネージャーです。Mamba は、Conda パッケージマネージャーを再実装したオープンソースのソフトウェアです。Hawk は、Palantir が開発した Conda パッケージマネージャーの再実装です。Code Repositories では、コミット後にチェックを実行する際、Hawk を使用してパッケージの依存関係を解決します。Hawk には、パッケージの依存関係の解決において Mamba や Conda よりも優れた点がいくつかあり、特に処理速度の向上と、活発にメンテナンスおよび開発が行われていることが挙げられます。

このページでは、最も重要な概念を紹介し、環境作成プロセスの概要を説明します。詳細については、Conda の公式ドキュメント ↗および Mamba のドキュメント ↗を参照してください。

重要な用語

パッケージ

パッケージはファイルをまとめたもので、通常はメタデータ、ライブラリ、バイナリのいずれか、またはこれらの組み合わせを含みます。Code Repositories では、言語の基本機能を補完するために、幅広いパッケージ(たとえば numpy)を利用できます。

パッケージはバージョン管理されており、ほぼ必ず依存関係があります。依存関係とは、そのパッケージが正しく機能するためにインストールする必要があるほかのパッケージのことです。依存関係として、パッケージの特定のバージョン、許容されるバージョンの範囲、またはバージョンを問わないパッケージが指定される場合があります。

チャネル

チャネルは、リポジトリと呼ばれることもあり、パッケージが保存される場所を指します。チャネルは、ローカルファイルシステム内のディレクトリである場合も、Web サーバー上でホストされるディレクトリである場合もあります。

種類にかかわらず、各チャネルは、プラットフォームのアーキテクチャ別にパッケージを分けたディレクトリツリーです。各プラットフォームのサブディレクトリには、そのサブディレクトリ内のすべてのパッケージのインデックスとなる repodata.json というファイルが含まれます。

Conda は、パッケージを取得する必要があるたびに、事前に設定されたチャネルを検索します。Foundry でのチャネル管理の詳細については、パッケージのドキュメントを参照してください。

環境

Conda の環境は、特定のパッケージ群を含むディレクトリです。パッケージタブで指定されたパッケージを Conda に渡すことで、リポジトリごとに環境が作成されます。Conda は、設定とすべての依存関係を満たすパッケージ群を構成し、トランスフォームが実行される環境にそれらをインストールします。

パフォーマンス

以下のパフォーマンスに関する説明は、Conda のパフォーマンスを詳しく取り上げたこちらの Anaconda ブログ記事 ↗に基づいていますが、Mamba や Hawk の実装にも同様に当てはまります。次の2つのセクションでは、この内容を要約し、Code Repositories に特に関連するパフォーマンス要因の概要を説明します。

環境を作成する

環境の作成は、解決ステップとインストールステップという2つの主要なステップで構成されます。

解決ステップ

解決ステップでは、指定されたパッケージマネージャー(Conda、Mamba、Hawk のいずれか)が、すべての推移的依存関係を満たすパッケージとバージョンの特定を試みます。推移的依存関係には、パッケージタブで指定されたパッケージの依存関係、それらの依存関係の依存関係、さらにその先の依存関係が含まれます。このステップは4つの段階で構成されます。

  1. パッケージのインデックスをダウンロードして処理します。パッケージマネージャーは、設定された各チャネルから関連する repodata.json ファイルをダウンロードし、インデックスのエントリをメモリー内のオブジェクトに変換します。
  2. インデックスを縮小します。パッケージマネージャーは、環境で使用される可能性のあるすべてのパッケージをまとめます。このために、アルゴリズムは指定されたパッケージ仕様を起点として、すべての依存関係を再帰的にたどります。不要なパッケージ(主に依存関係グラフに含まれないもの)はすべて除外されます。
  3. 依存関係の制約をブール充足可能性(SAT)問題として表現します。パッケージマネージャーは、可能な限り新しいバージョンのパッケージを選ぶなど、特定の種類の解を優先します。このような優先傾向は、節を構成する際に組み込まれます。
  4. SAT ソルバーを実行します。

インストールステップ

解決が成功すると、次はインストールステップです。ここでは、適切なチャネルから各アーティファクトを取得し、パッケージマネージャーがそれらのアーティファクトを使用して環境を構築します。このステップは3つの段階で構成されます。

  1. 解決済みの環境に含まれるすべてのパッケージをダウンロードして展開します。
  2. パッケージの内容を検証します。設定に応じて、Conda はチェックサムを使用するか、ファイルサイズが正しいことを検証します。
  3. パッケージを環境にリンクします。

制限事項

上記のすべてのステップは、特定の状況で処理が遅くなる可能性があります。速度低下の原因は、通常、次の3つのカテゴリーのいずれかに分類されます。

上流の変更

速度低下の多くは、Foundry の外部要因によって発生します。

  • チャネルのインデックスのダウンロードと処理にかかる時間は、インデックスファイルの合計サイズに応じて増加します。対象として検討する必要があるチャネルが多く、チャネルのサイズが大きいほど、これらのステップに時間がかかります。
  • インデックスの縮小にかかる時間も、推移的依存関係の数に応じて増加します。推移的依存関係の数は、パッケージがどの依存関係を宣言しているかによって決まります。

これらは外部の不透明な要因であるため、パフォーマンス低下の根本原因の分析が難しい場合があります。チャネルのサイズが最近増えたことや、パッケージの最新リリースで新しい依存関係がいくつか宣言されたことによって、環境の読み込みに突然時間がかかるようになる場合があります。

環境仕様

より一般的には、初期化の遅さは環境仕様自体に直接関連しています。解決ステップにかかる時間は、環境のサイズに対して超線形に増加します。そのため、一般的な目安として、パッケージ数が多い環境ほど、その増加割合を上回る割合で初期化時間が長くなります。

このような状況を改善する方法は2つあります。

  • まず、環境定義から不要なパッケージを外します。大規模な汎用環境よりも、小規模で用途に特化した環境のほうが、パフォーマンスは大幅に向上します。
  • 次に、パッケージタブで一部のパッケージにバージョン制約を追加してみます。python のように既存のビルドが多いパッケージや、scipy のように依存関係グラフが複雑なパッケージでは、バージョンの固定が最も効果的です。これにより、Conda はインデックスをより積極的に縮小でき、SAT の解決時に考慮する必要があるパッケージのバージョン数を減らせます。

パッケージサイズ

パッケージサイズは、通常、このセクションで取り上げたほかの要因ほど問題にはなりませんが、それでも影響する場合があります。

パッケージが1個だけでも、ダウンロードと展開に無視できない時間がかかる場合があります。たとえば、pytorch パッケージのサイズは約 460 MB で、展開に35秒以上かかる場合があります。

ダウンロード、展開、検証にかかる時間は、いずれも環境内のパッケージのサイズと数に対して線形に増加します。推移的依存関係があるため、解決済みの環境には通常、環境定義で明示的に指定した数を大幅に上回るパッケージが含まれます。このパッケージ数の増加によって、処理が遅くなる場合があります。

この場合の改善策は、環境仕様に関する提案と同様です。環境をできる限り小さく保つようにします。