注意:以下翻译的准确性尚未经过验证。这是使用 AIP ↗ 从原始英文文本进行的机器翻译。
在 Foundry 中创建数据管道的过程中,您可能会遇到需要了解计算背后工作原理的细节,以便有效调试任务失败或提高计算性能的情况。通常,当您遇到意外的计算问题或性能问题时,应遵循以下步骤。
请注意,如果您的管道是批处理管道,您可以通过更好地利用 Foundry 中的 Spark 引擎来加速某些计算任务。然而,这种性能调优是有局限的。如果您的管道输入随着时间快速增长,您可能需要将管道调整为增量模式,以便仅处理实际更改的数据行或文件。
如果您想从调试一个意外失败的任务或端到端管道开始,请参考以下指南:
如果您有兴趣了解 Foundry 中计算的底层工作原理,请从探索 Spark 核心概念开始。