詳細設定

このセクションでは、Java トランスフォームで詳細設定オプションを使用する方法について説明します。

最大ビルド時間

データの鮮度を確保したり、コストを抑えたりするために、ジョブの実行時間を制限したい場合があります。たとえば、外部サービスとやり取りしているジョブが応答しなくなった場合、完了しない可能性があるため、実行時間に制限を設けておくと便利です。 Code Repositories では、以下に示すように MaxAllowedDuration デコレーターと Compute デコレーターを使用して、ジョブの実行時間を制限できます。

Copied!
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
package myproject.datasets;

import com.palantir.transforms.lang.java.api.*;
import java.time.Duration;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;

public final class FilterTransform {

   @MaxAllowedDuration(value = "PT2H")
   @Compute
   public void myComputeFunction(
           @Input("/examples/students_hair_eye_color") FoundryInput myInput,
           @Output("/examples/students_hair_eye_color_filtered") FoundryOutput myOutput) {
       Dataset<Row> inputDf = myInput.asDataFrame().read();
       myOutput.getDataFrameWriter(inputDf.filter("eye = 'Brown'")).write();
   }
}