はじめに

データセットをセットアップする

このチュートリアルでは、タイタニック号の乗客に関する情報を含む、一般公開されているデータセット（titanic_dataset.csv をダウンロード）を使用します。

このデータセットには、タイタニック号の乗客の氏名、年齢、性別、およびその他の識別情報が含まれています。Foundry に移動し、個人用プロジェクトを開きます。Code Workbook Tutorial という名前のフォルダーを作成し、そこにタイタニック号のデータセットをアップロードして、titanic_dataset という名前を付けます。

Code Workbook をセットアップする

プロジェクト内の新規ボタンをクリックし、Code Workbook を選択して、新しいワークブックを作成します。

データセットをインポートする

データセットをインポートをクリックしてはじめます。表示されたダイアログで titanic_dataset を検索します。セットアップ時に作成したファイルを選択します。このファイルは /user/Code Workbook Tutorial/titanic_dataset にあるはずです。

目的のデータセットが見つかったら、そのファイルをクリックし、次に選択をクリックして、データセットをグラフに追加します。

Python を使用してデータを加工する

titanic_dataset がワークブックにインポートされたので、コードと再利用可能なロジックを使用して加工できます。titanic_dataset にカーソルを合わせ、+ 記号をクリックして、下流のトランスフォームを追加します。さまざまな変換オプションを表示するドロップダウンが開くので、Python を選択します。

グラフに Python コードノードが表示され、接続線によって titanic_dataset の子であることが示されます。ロジックタブの上部にあるテキストボックスをクリックし、このトランスフォームに titanic_filtered というエイリアスを付けます。

デフォルトでは、新しく作成したトランスフォームは Foundry のデータセットとして保存されません。データセットとして保存トグルをクリックすると、トランスフォームの結果をデータセットとして保存するよう選択できます。トランスフォームをデータセットとして保存する方法について、詳しくはこちら。データセットとして保存されるトランスフォームには、エイリアスと Foundry データセットの名前という2つの名前があります。

Pandas データフレームを使用する

Pandas の構文に慣れている場合は、Python ノードで Pandas を使用できます。titanic_filtered を更新して Pandas を使用するようにします。

まず、titanic_dataset の入力のデータ型を変更する必要があります。ロジックパネルの入力タブをクリックし、サイドバーを展開します。入力のデータ型が Spark データフレームに設定されていることが確認できます。ドロップダウンをクリックして Pandas データフレームを選択し、titanic_dataset の入力のデータ型を Pandas データフレームに変更します。

次に、同じフィルターを適用しながら Pandas データフレームを扱うようにコードを更新します。

Copied!
1
2
3
def titanic_filtered(titanic_dataset):
    output_df = titanic_dataset[(titanic_dataset['Survived'] == 1) & (titanic_dataset['Sex'] == 'female')]
    return output_df

このコードは、タイタニック号の女性生存者を含む Pandas データフレームを出力します。

コンソールを使用する

コンソールは Code Workbook 用の REPL（読み取り・評価・出力ループ）を提供し、グラフ上の任意のトランスフォームや入力データセットをすばやくアドホックに分析できるようにします。使い慣れた言語ですばやく試行錯誤できるよう、ワークブックで有効になっている言語ごとにコンソールが用意されています。

ページの右側にあるコンソールを開きます。Python コンソールを選択します。

Python でコマンドを実行して、データを使った試行をすばやく行えます。また、トランスフォーム内のコードを選択し、キーボードショートカットの Cmd+Shift+Enter（macOS）または Ctrl+Shift+Enter（Windows）を使用すると、そのコードをコンソールに送って実行できます。

まず、Python コンソールで次の PySpark SQL 関数をインポートする必要があります。

Copied!
1
import pyspark.sql.functions as F

次に、タイタニック号の女性生存者の年齢の最大値を求めます。

Copied!
1
titanic_filtered.select(F.max('Age')).show()

SQL コンソールを使用して、同じ統計値を計算することもできます。

Copied!
1
SELECT max(Age) AS max_age FROM titanic_filtered